RedHatAI kuantum sürümünü model Muse-Glimmer-30B yayınlandı

RedHatAI ekibi, dil modeli Muse-Glimmer-30B'nin FP4 formatına çevrilmiş optimize edilmiş bir sürümünü sundu. Sürüm, donanımsal gereksinimleri azaltırken sistem performansını koruma amacını taşıyor.

Ağırlıkların sıkıştırılması için geliştiriciler LLM Compressor aracını kullandı. Kuantalamanın uygulanmasıyla birlikte, orijinal modelle karşılaştırıldığında operatif bellek gereksinimleri 75% azaltıldı. Bu, 30-milyarlık modelin daha önce gerektirildiğinden daha az güçlü donanımda çalıştırılabilmesini sağlıyor.

Güncellenmiş sürüm, vLLM motoruyla tamamen uyumlu olup, modelin yüksek yüklenen sunucu altyapilerine entegrasyonunu kolaylaştırıyor. Model, 1 saatlik hesaplamalarla gerçekleştirilen iç testlerde 18 puanlık bir sonuç elde etti.

FP4 formatının kullanımı, tüketici ve kurumsal GPU'lar上的 büyük modellerin dağıtımı için bir standart haline geliyor. İşgal edilen bellek hacminin azaltılması, model ağırlıklarının daha küçük boyutlu video belleğinde yerleştirilmesine olanak tanır, bu da bulut ortamlarındaki AI hizmetlerinin ölçeklendirilmesi için kritik önem taşır.