I ricercatori hanno proposto una base formale GAI per gli agenti autoapprendenti

I ricercatori hanno pubblicato un lavoro Generalized Agent Iteration (GAI), che propone una struttura matematica unificata per descrivere il miglioramento iterativo delle politiche e l'apprendimento ricorsivo (RSI). Gli autori si propongono di combinare i metodi classici di apprendimento con i concetti di sviluppo autonomo dell'intelligenza all'interno di una sola paradigma.

Al base di GAI c'è un modello di agente come configurazione di componenti modificabili, dove il processo di apprendimento è rappresentato come un algoritmo ciclico di valutazione e successiva ottimizzazione. Il sistema utilizza due parametri chiave: la disposizione del meccanismo di miglioramento (all'interno o all'esterno dell'agente) e la presenza di un sistema di coordinate esterno per valutare i risultati. Queste variabili consentono di classificare i sistemi in base alla loro polarità: da obiettivi rigidamente definiti a strutture completamente auto-referenziali.

L'approccio proposto consente di formalizzare le differenze tra il miglioramento iterativo classico delle politiche (GPI) e il perfezionamento ricorsivo. Gli autori utilizzano GAI per sistematizzare le architetture esistenti, il che consente di identificare i difetti nei processi di auto-apprendimento in base a condizioni specifiche. Ciò consente di confrontare sistemi eterogenei su una scala di coordinate unificata.

Il lavoro è finalizzato a creare una base principale per l'analisi e la progettazione di futuri agenti autonomi. La formalizzazione delle condizioni in cui un agente è in grado di auto-modificarsi aiuta a evitare problemi di "deriva degli obiettivi" e garantisce la prevedibilità del comportamento dei sistemi nel lungo termine. La ricerca è disponibile sotto licenza CC BY-NC-ND 4.0.