Google представила фреймворк Sleep для борьбы с забыванием у LLM

Компания Google представила фреймворк Sleep, предназначенный для решения проблемы катастрофического забывания при непрерывном обучении языковых моделей. Новый подход разделяет жизненный цикл системы на две фазы: активное бодрствование и автономный сон.

В режиме бодрствования модель обрабатывает текущие запросы и накапливает кратковременный контекст. Во время фазы сна задействуются архитектура Mixture-of-Experts и методы дистилляции знаний, которые переносят информацию из временной памяти в стабильные долгосрочные структуры.

Механизм позволяет языковым моделям непрерывно усваивать новые данные без потери ранее полученных навыков и базовых параметров. Разработка адресована исследователям и инженерам, занимающимся поддержкой актуальности крупных моделей без их полной переподготовки с нуля.