Geliştiriciler DGX Spark tabanlı DeepSeek-V4.1-Flash çıkarım reçetesini sundu

Geliştirici ekibi, LuZ-0.1.7-DeepSeek-v4.1-Flash-DGXspark-TP4-Ring — 4 nodlu NVIDIA DGX Spark kümelerinde DeepSeek-V4.1-Flash modelini dağıtmak için özel bir tarif yayınladı.

Çözüm, RoCE anahtarsız halka mimarisi kullanılarak maksimum bant genişliğini hedefliyor. Testler sırasında sistem, 3436 token/saniye düzeyinde ön doldurma hızı gösterdi. 16 paralel sorgu işlenirken, toplam kod çözme hızı 460 token/saniyeye ulaştı.

Bu tür sonuçların elde edilmesi için TP4 (Tensor Paralellism 4) konfigürasyonu kullanılıyor, bu da hesaplama yükünü düğümler arasında etkili bir şekilde dağıtmayı sağlıyor. Tüm hazırlık ve sistem başlatma süreci yaklaşık 5 saat sürüyor, bu da bu yığının üretim ortamlarında yüksek performanslı çıkarım sunucularını hızlı bir şekilde dağıtmaya uygun hale getiriyor.

Ağ etkileşiminin RoCE halkası üzerinden optimizasyonu, dış anahtarların kullanım ihtiyacını ortadan kaldırır ve GPU arasında veri iletimi sırasında gecikmeleri azaltır. Bu yaklaşım, DGX Spark ekipmanının sahiplerine, ek ağ altyapısı maliyetleri olmadan büyük dil modelleriyle çalışma verimliliğini önemli ölçüde artırma olanağı sağlar.