Google ha presentato il framework Sleep per combattere l'oblio nelle LLM

L'azienda Google ha presentato il framework Sleep, progettato per risolvere il problema dell'oblio catastrofico nell'apprendimento continuo dei modelli linguistici. Il nuovo approccio divide il ciclo di vita del sistema in due fasi: veglia attiva e sonno autonomo.

In modalità veglia, il modello elabora le richieste correnti e accumula un contesto a breve termine. Durante la fase di sonno, vengono utilizzati l'architettura Mixture-of-Experts e metodi di distillazione della conoscenza, che trasferiscono le informazioni dalla memoria temporanea a strutture stabili a lungo termine.

Il meccanismo consente ai modelli linguistici di assimilare continuamente nuovi dati senza perdere le competenze acquisite in precedenza e i parametri di base. Lo sviluppo è rivolto a ricercatori e ingegneri che si occupano di mantenere aggiornati i modelli di grandi dimensioni senza doverli riaddestrare completamente da zero.