I ricercatori hanno proposto il metodo Never Give Up per l'addestramento di LLM

I ricercatori hanno presentato un metodo chiamato Never Give Up, finalizzato all'eliminazione dell'"effetto Matteo" nell'addestramento di LLM con rinforzo (RL). Il problema consiste nel fatto che gli algoritmi attuali ottimizzano efficacemente i compiti semplici, ma perdono il segnale di addestramento nei casi complessi, dove il modello commette più errori.

Il cuore dell'approccio consiste nel modificare la strategia di campionamento durante la generazione delle risposte. Invece dell'addestramento standard su un set di dati limitato, il sistema aumenta forzatamente il numero di tentativi di generazione per i compiti complessi. Ciò consente al modello di ricevere un segnale di gradiente anche nei casi in cui la probabilità di successo è inizialmente vicina a zero, prevenendo una convergenza prematura verso strategie subottimali.

Durante gli esperimenti, è stato osservato che con l'addestramento RL standard, i modelli smettono di progredire sui compiti con alta carga cognitiva già dopo le prime iterazioni. Il metodo Never Give Up consente di mantenere la stabilità dell'addestramento, garantendo un miglioramento uniforme delle metriche sia sui compiti semplici che su quelli complessi. Gli autori notano che tale approccio richiede capacità di calcolo aggiuntive nella fase di raccolta dei dati, ma aumenta notevolmente la precisione finale del modello.

Questa metodica è finalizzata a risolvere il problema fondamentale dell'hacking del reward e del degrado delle prestazioni in aree altamente specializzate. Una discussione dettagliata delle limitazioni architettoniche e dei risultati dei test è disponibile nella comunità Hacker News. L'implementazione di meccanismi simili consente agli sviluppatori di scalare più efficacemente l'addestramento dei modelli su catene logiche complesse e compiti a più fasi.