I ricercatori hanno identificato un processo di risoluzione dei problemi matematici in quattro fasi in LLM

Un gruppo di scienziati ha pubblicato uno studio che descrive l'architettura interna dell'inferenza logica dei grandi modelli linguistici nella risoluzione dei problemi matematici. Gli autori hanno stabilito che il processo di elaborazione dei dati nelle reti neurali si svolge attraverso quattro fasi consecutive: astrazione dello schema, pianificazione delle operazioni, associazione degli operandi e calcolo finale.

Ognuna di queste fasi corrisponde al lavoro di specifici strati del modello, che formano rappresentazioni intermedie uniche. I ricercatori hanno scoperto che l'alta precisione dei modelli nei test standard si riduce bruscamente quando viene aggiunta alla condizione del problema anche una sola frase non pertinente. Questo fenomeno di "fragilità" è stato localizzato nella fase di pianificazione delle operazioni.

L'analisi ha mostrato che i blocchi responsabili degli errori sono specifiche attention-head, il cui ruolo nel processo è stato confermato da test di causalità bidirezionale. Quando vengono presentati dati di distrazione, è proprio questo blocco a smettere di elaborare correttamente la struttura logica del problema, portando a errori nella risposta finale, nonostante la capacità generale del modello di eseguire calcoli.

Questo lavoro fornisce un'interpretazione meccanicistica di come i LLM "ragionino" quando lavorano con i numeri. La comprensione della localizzazione degli errori a livello di strati e pesi specifici consente agli sviluppatori di correggere puntualmente l'architettura dei modelli per aumentare la loro resistenza al rumore nei prompt. Lo studio è pubblicato sotto licenza Creative Commons Attribution 4.0.