I ricercatori hanno individuato un'asimmetria nell'apprendimento del pensiero compositivo in LLM

Un gruppo di ricercatori ha presentato un nuovo lavoro, dedicato allo studio del pensiero compositivo nei modelli linguistici utilizzando l'apprendimento per rinforzo (RL). Gli autori hanno analizzato come i modelli combinano le abilità apprese per risolvere problemi complessi e hanno scoperto un'asimmetria fondamentale nel processo di apprendimento.

Nell'ambito della ricerca è stato proposto un framework basato su grafi di dipendenza, che formalizza il pensiero compositivo su tre livelli di complessità. Gli esperimenti sono stati condotti su problemi con strutture di dati che garantiscono il calcolo deterministico delle ricompense. Gli scienziati hanno stabilito che l'apprendimento su abilità decomposte non garantisce l'esecuzione efficace di compiti composti, mentre l'apprendimento su compiti composti complessi consente al modello di gestire più efficacemente i componenti semplici.

Questo effetto, chiamato "asimmetria da decomposto a composto", è stato confermato in condizioni di estrapolazione per lunghezza, spostamenti strutturali della distribuzione e trasferimento di abilità a problemi mai incontrati prima. Gli autori hanno anche condotto uno studio pilota sui benchmark per la sfida degli strumenti esterni, confermando che il modello di riconoscimento identificato persiste in scenari pratici di applicazione dell'IA.

I risultati del lavoro sottolineano i limiti dei metodi di post-apprendimento attuali, che spesso si concentrano su abilità individuali. La comprensione di questa asimmetria consente agli sviluppatori di correggere le strategie di apprendimento per migliorare la capacità dei modelli di generalizzare e risolvere problemi multi-stadio che richiedono coerenza logica. La ricerca è pubblicata sotto licenza Non-exclusive distribution.