Xiaomi ha ottimizzato il funzionamento del modello MiMo-V2.6-Flash sul cluster DGX

I sviluppatori hanno presentato la configurazione MiMo-V2.6-Flash-2x-DGX-Spark, che consente di eseguire il modello da 310 miliardi di Xiaomi su hardware specializzato. Il sistema dimostra un'elevata prestazione nel lavoro con lunghe sequenze di contesto.

La base della soluzione è l'utilizzo di 4 nodi DGX Spark che operano sotto la gestione del motore vLLM. L'integrazione del metodo DFlash per la decodifica speculativa e l'utilizzo di fp8 KV cache hanno consentito di raggiungere una velocità di generazione di 155,8 token al secondo. Il modello elabora con successo una finestra di contesto di volume fino a 300 000 token.

L'implementazione tecnica del progetto è orientata alla minimizzazione dei ritardi nell'inferenza dei modelli linguistici super grandi. L'utilizzo della quantizzazione a 8 bit della cache delle chiavi e dei valori (KV cache) riduce notevolmente i requisiti di memoria video, mantenendo al tempo stesso la precisione della generazione al livello dei pesi originali del modello.

Questo approccio consente di distribuire LLM pesanti in ambienti aziendali con un numero limitato di nodi di calcolo. L'ottimizzazione dello stack vLLM per l'architettura DGX Spark garantisce un funzionamento stabile a carichi elevati, cosa critica per i sistemi che richiedono l'elaborazione di grandi quantità di dati in tempo reale.