SkyPilot обновила планировщик для кластеров Nvidia Grace Blackwell

Команда SkyPilot представила новый планировщик задач, созданный специально для оптимизации обучения крупных языковых моделей на стоечных системах Nvidia NVL72 с архитектурой Grace Blackwell.

Новый алгоритм распределения ресурсов удерживает тензорный параллелизм и параллелизм экспертов (MoE) в пределах высокоскоростного интерфейса NVLink. За счет этого разработчикам удалось добиться роста пропускной способности на 43% по сравнению с традиционными соединениями InfiniBand.

Кроме того, система решает проблему фрагментации оборудования благодаря топологически-осознанному размещению задач. По данным создателей, такой подход позволяет эффективно использовать на 27% больше графических процессоров на тех же аппаратных стойках.

Обновление ориентировано на крупные дата-центры и исследовательские лаборатории, задействующие массивы чипов Blackwell для масштабирования тяжелых рабочих нагрузок без дополнительных капитальных затрат на «железо».