I ricercatori hanno presentato l'algoritmo RETD per la stabilizzazione dell'apprendimento per rinforzo

I ricercatori hanno pubblicato un lavoro che descrive il Regularized Emphatic Temporal-Difference Learning (RETD) - un nuovo metodo finalizzato a risolvere i problemi di instabilità nell'utilizzo di passi di apprendimento costanti negli algoritmi di rinforzo.

L'approccio standard Emphatic TD (ETD) spesso si scontra con il problema dei coefficienti di Lyapunov positivi nel campionamento dei dati, che porta alla divergenza del processo. Gli autori dello studio hanno proposto un meccanismo di correzione normalizzato del primo ordine, che mantiene i pesi e le relazioni di importanza, utilizzando una perdita di stato scalare per memorizzare il segnale e successivamente correggere in ritardo.

Durante gli esperimenti, che includevano 10 000 esecuzioni, l'algoritmo RETD ha dimostrato coefficienti certificati negativi su strutture a due componenti, dove il classico ETD mostrava instabilità. Il metodo consente di recuperare il punto fisso ETD utilizzando letture di regolarizzazione singole e doppie, garantendo la convergenza con passi di apprendimento armonicamente decrescenti.

L'approccio proposto non riduce la varianza della traccia, ma modifica sostanzialmente la dinamica dopo gli stati di shock del sistema. I risultati confermano che RETD gestisce efficacemente la dipendenza da compiti specifici, garantendo un comportamento del modello più prevedibile in condizioni di apprendimento off-policy.

Il lavoro contribuisce alla teoria dell'apprendimento per rinforzo, proponendo una soluzione matematicamente fondata per stabilizzare l'apprendimento degli agenti in ambienti complessi. I dati e le prove dei teoremi sono disponibili con licenza CC BY-NC-ND 4.0.