Xiaomi MiMo-V2.6-Flash modelinin DGX kümesinde çalışmasını optimize etti

Geliştiriciler, 310-milyarlık Xiaomi modelini özel donanım üzerinde çalıştırmaya olanak tanıyan MiMo-V2.6-Flash-2x-DGX-Spark yapılandırmasını sundu. Sistem, uzun bağlamsal dizilerle çalışırken yüksek performans gösteriyor.

Çözümün temelinde, vLLM motoru altında çalışan 4 DGX Spark düğümünün kullanılması yatıyor. Spekülatif dekodifikasyon için DFlash yönteminin entegrasyonu ve fp8 KV cache kullanımı, saniyede 155.8 token hızına ulaşılmasını sağladı. Model, 300 000 token hacmindeki bağlamsal pencereyi başarılı bir şekilde işleyebiliyor.

Projenin teknik uygulaması, süper büyük dil modellerinin çıkarımında gecikmeleri en aza indirmeye yöneliktir. 8-bit KV cache kuantizasyonunun kullanılması, video belleği gereksinimlerini önemli ölçüde azaltırken, modelin orijinal ağırlıklarının seviyesinde oluşturma doğruluğunu korur.

Bu yaklaşım, ağır LLM'leri sınırlı sayıda hesaplama düğümüne sahip kurumsal ortamlarda dağıtmaya olanak tanır. vLLM yığınının DGX Spark mimarisi altında optimize edilmesi, yüksek yüklerde稳il bir çalışma sağlar ve büyük veri kümelerinin gerçek zamanlı olarak işlenmesi gereken sistemler için kritiktir.