125B Qwen3.8 modelinin tüketici donanımında çalıştırılması için bir yama yayınlandı

Geliştiriciler Qwen3.8-Flash-Next-INT4-Mixed-AutoRound adlı vLLM motoru için özel bir yama sundu - sınırlı donanım kaynaklarında ağır MoE modellerini çalıştırmaya olanak tanıyan vLLM motoru için özel bir yama. Çözüm, AutoRound yöntemi aracılığıyla uygulamaya alınan INT4/INT6 karma kuantum şemasını kullanır.

Teknik uygulama, 125 milyar parametre ile bir modeli 3-4 RTX 3090 ekran kartı konfigürasyonunda dağıtmayı sağlar. Sistem, 262.000 token kadar bir bağlam penceresi ile çalışmayı destekler. Testlerin進行i sırasında, kod çözme performansı saniyede 60 token düzeyine ulaştı ve ön doldurma hızı saniyede 3700 token oldu.

Bu tür göstergelere ulaşmak için ağırlık optimizasyonu kullanılır, bu da düşük bitli temsilde geçişte doğruluk kaybını en aza indirir. AutoRound kullanımı, veri sıkıştırması ile modelin akıl yürütme yeteneğinin korunması arasında bir denge sağlar, bu da MoE (Uzmanlar Karma) gibi mimariler için kritiktir.

Verilen araç, önce büyük sunucu güçleri ve büyük miktarda VRAM gerektiren büyük dil modellerini yerel olarak çalıştırmak için giriş eşiğini düşürür. Yama, tüketici ekipmanını uzun bağlam ve yüksek parametreli sinir ağları ile çalışmak için kullanan araştırmacılar ve geliştiriciler için tasarlanmıştır.