Google 推出 Sleep 框架以解決大型語言模型（LLM）的遺忘問題

Google 推出了 Sleep 框架，旨在解決語言模型在持續學習過程中出現的災難性遺忘問題。這種新方法將系統的生命週期分為兩個階段：主動清醒與離線睡眠。

在清醒模式下，模型會處理當前的請求並累積短期上下文。而在睡眠階段，系統會運用 Mixture-of-Experts 架構與知識蒸餾技術，將資訊從暫存記憶轉移至穩定的長期結構中。

該機制使語言模型能夠持續吸收新數據，同時不會丟失先前獲得的技能與基礎參數。這項開發成果旨在協助研究人員與工程師在無需從零開始重新訓練的情況下，維持大型模型的時效性。