SkyPilot ha aggiornato lo scheduler per i cluster Nvidia Grace Blackwell

Il team di SkyPilot ha presentato un nuovo scheduler di task, creato appositamente per ottimizzare l'addestramento di modelli linguistici di grandi dimensioni su sistemi rack Nvidia NVL72 con architettura Grace Blackwell.

Il nuovo algoritmo di allocazione delle risorse mantiene il parallelismo tensoriale e il parallelismo degli esperti (MoE) all'interno dell'interfaccia ad alta velocità NVLink. Grazie a ciò, gli sviluppatori sono riusciti a ottenere un aumento della larghezza di banda del 43% rispetto alle tradizionali connessioni InfiniBand.

Inoltre, il sistema risolve il problema della frammentazione dell'hardware grazie a un posizionamento dei task consapevole della topologia. Secondo i creatori, questo approccio consente di utilizzare in modo efficiente il 27% in più di unità di elaborazione grafica sugli stessi rack hardware.

L'aggiornamento è rivolto ai grandi data center e ai laboratori di ricerca che utilizzano array di chip Blackwell per scalare carichi di lavoro pesanti senza ulteriori spese in conto capitale per l'hardware.