Kuantalı Swift-Qwen3.8-27B-NVFP4 modeli yayınlandı

Geliştiriciler, Swift-Qwen3.8-27B-NVFP4 adlı, karma hassasiyet kullanarak grafik hızlandırıcılarında çalışmak için optimize edilmiş özel bir dil modeli sürümünü sundu.

Modelin ağırlığı 21,945 GB'dir. Mimari, NVFP4 ve FP8 formatlarının bir kombinasyonunu uygular, bu da video belleği gereksinimlerini önemli ölçüde azaltmaya olanak tanır. H100 hızlandırıcılarında çalıştırıldığında model yalnızca 20 GB VRAM kullanır ve bu sırada KV önbelleği oluşturma kalitesini ve doğruluğunu korur.

Teknik çözüm, sunucu donanımında ağır modelleri dağıtmak için giriş eşiğini düşürmeye yöneliktir. NVFP4 kullanımı, performansın kritik bir kaybı olmadan ağırlık paketleme yoğunluğunu artırır, bu da sınırlı bellek kapasiteli sistemler için kritiktir.

Verilen sürüm, sınırlı hesaplama kaynaklarıyla Qwen mimarisini çalıştırma olanaklarını genişletir. Optimizasyon, daha önce benzer görevler için daha fazla bellek gerektiren yapılandırmalarda 27 milyar modeli çalıştırma olanağı sağlar.