Nvidia kuantum modeli Qwen3.8-27B-NVFP4 yayınlandı

Şirket Nvidia yeni nesil donanım için optimize edilmiş Qwen3.8-27B-NVFP4 dil modelinin özel bir sürümünü sundu. Model 27 milyar parametre içerir ve NVFP4 ve FP8 formatlarında nicemleme işlemine tabi tutulmuştur.

Çıkış, Nvidia Blackwell grafik işlemcilerindeki yüksek performanslı hesaplama ortamlarında dağıtıma yöneliktir. Geliştiriciler, modeli entegre etmek ve çalıştırmak için popüler çıkarım motorlarını, vLLM ve SGLang dahil olmak üzere tam olarak desteklemiştir. Bu nicemleme formatlarının kullanımı, hesaplama doğruluğunu korurken video belleği gereksinimlerini önemli ölçüde azaltmaya olanak tanır.

Model Apache 2.0 lisansı altında dağıtılır, bu da ticari ve araştırma projelerinde kullanılmasına izin verir. İç testlerde sistem 104 puan elde etti ve bunu hedef donanım üzerinde 2 saat içinde başardı.

Verilen sürüm, Blackwell mimarisi ile çalışma araçları ekosistemini genişletir ve geliştiricilere kullanıma hazır ağırlıklar sağlar. 4 bitlik ve 8 bitlik kayan nokta formatlarına optimizasyon, büyük modelleri daha az hesaplama düğümü üzerinde çalıştırma olanağı sağlar, bu da kurumsal veri merkezlerinde çıkarımın maliyetini düşürür.