Представлен фреймворс SPECTRA для сжатия LLM в три раза

Разработчики представили SPECTRA — новый фреймворк для сжатия больших языковых моделей, который позволяет уменьшить их размер в 3 раза с практически незаметной потерей точности. Технология ориентирована на оптимизацию работы моделей на устройствах с ограниченными аппаратными ресурсами.

Ключевой особенностью метода является отсутствие необходимости в калибровке данных. Благодаря этому решению, стандартные модели с 7 миллиардами параметров могут быть запущены на оборудовании с 4 ГБ видеопамяти (VRAM). При этом сам процесс сжатия и работы алгоритма требует менее 50 МБ оперативной памяти, что делает его одним из самых легковесных инструментов в своем классе.

Разработчики отмечают, что подход позволяет значительно снизить порог входа для локального запуска современных LLM. Это открывает возможности для интеграции мощных языковых моделей в потребительскую электронику и мобильные системы, где объем доступной памяти является критическим ограничением. Подробные технические детали и результаты тестирования доступны в официальном исследовательском отчете команды.