Gli sviluppatori hanno presentato la ricetta dell'inferenza DeepSeek-V4.1-Flash basata su DGX Spark

Il team di sviluppatori ha pubblicato LuZ-0.1.7-DeepSeek-v4.1-Flash-DGXspark-TP4-Ring — una ricetta specializzata per il deploy della modello DeepSeek-V4.1-Flash su cluster di 4 nodi NVIDIA DGX Spark.

La soluzione è orientata alla massima larghezza di banda utilizzando l'architettura con anello RoCE senza switch. Durante i test, il sistema ha dimostrato una velocità di prefill di 3436 token al secondo. Nel trattare 16 richieste parallele, la velocità di decodifica complessiva ha raggiunto 460 token al secondo.

Per raggiungere tali risultati viene utilizzata la configurazione TP4 (Tensor Parallelism 4), che consente di distribuire efficacemente il carico di calcolo tra i nodi. L'intero processo di preparazione e avvio del sistema richiede circa 5 ore, rendendo questo stack adatto per il deploy rapido di server di inferenza ad alte prestazioni in ambienti di produzione.

L'ottimizzazione dell'interazione di rete tramite l'anello RoCE elimina la necessità di utilizzare commutatori esterni, riducendo i ritardi nella trasmissione dei dati tra GPU. Questo approccio consente ai proprietari di hardware DGX Spark di aumentare notevolmente l'efficienza del lavoro con grandi modelli linguistici senza ulteriori spese per l'infrastruttura di rete.