Разработчик запустил модель Kimi K3 на обычном ПК через C99

Энтузиаст представил Kimi K3 in C — реализацию языковой модели с 2,78 триллиона параметров на языке C99. Проект позволяет запускать инференс модели, общий объем чекпоинтов которой составляет 1,56 ТБ, на стандартном персональном компьютере, оснащенном всего 8 ГБ оперативной памяти.

Ключевой особенностью решения является механизм потоковой передачи данных непосредственно с накопителя в память. Вместо загрузки всей модели целиком, система считывает необходимые веса по мере выполнения вычислений, что позволяет обходить ограничения аппаратного обеспечения. Код написан на чистом C, что минимизирует накладные расходы на выполнение операций.

Реализация ориентирована на работу с архитектурой модели Kimi K3. Использование дискового пространства в качестве расширения RAM позволяет запускать крайне тяжелые модели на потребительских конфигурациях, где объем видеопамяти или ОЗУ физически не позволяет разместить веса целиком.

Для практиков это означает возможность локального запуска моделей, которые ранее требовали кластеров с десятками терабайт памяти. Несмотря на ожидаемо низкую скорость генерации из-за ограничений пропускной способности дисковых накопителей, проект демонстрирует жизнеспособность метода «дискового инференса» для работы с гигантскими нейросетями на доступном железе.