小米已在DGX叢集上優化MiMo-V2.6-Flash模型的運作

開發人員展示了MiMo-V2.6-Flash-2x-DGX-Spark配置，允許在專用硬體上運行310億參數的Xiaomi模型。該系統在處理長上下文序列時展示了高性能。

解決方案的基礎是使用4個運行在vLLM引擎下的DGX Spark節點。集成DFlash方法進行推測性解碼和使用fp8 KV cache，實現了每秒155.8個令牌的生成速度。模型成功處理了最多300,000個令牌的上下文窗口。

項目的技術實現針對超大型語言模型的推理延遲進行了優化。使用8位元的KV緩存量化（KV cache）大大降低了對視頻內存的需求，同时保持了與原始模型權重相同的生成精度。

這種方法允許在計算節點有限的企業環境中部署重型LLM。優化的vLLM堆棧在DGX Spark架構上提供了穩定的性能，這對於需要在實時處理大量數據的系統至關重要。