Google, LLM'lerde unutkanlıkla mücadele etmek için Sleep çerçevesini tanıttı

Google, dil modellerinin sürekli öğrenme sürecinde yaşadığı felaket unutma sorununu çözmek için tasarlanan Sleep çerçevesini tanıttı. Yeni yaklaşım, sistemin yaşam döngüsünü aktif uyanıklık ve çevrimdışı uyku olmak üzere iki aşamaya ayırıyor.

Uyanıklık modunda model, mevcut istekleri işler ve kısa süreli bağlam biriktirir. Uyku aşamasında ise bilgileri geçici bellekten kararlı uzun süreli yapılara aktaran Mixture-of-Experts mimarisi ve bilgi damıtma yöntemleri devreye girer.

Bu mekanizma, dil modellerinin daha önce edinilen becerileri ve temel parametreleri kaybetmeden sürekli olarak yeni verileri özümsemesine olanak tanır. Geliştirme, büyük modelleri sıfırdan yeniden eğitmeden güncel tutmakla uğraşan araştırmacılara ve mühendislere yöneliktir.