I ricercatori hanno presentato il modulo CRN v2 per la correzione degli errori in LLM

Un gruppo di ricercatori ha pubblicato un lavoro Safe Error Correction for Language Models, in cui ha presentato il modulo CRN v2 per la correzione degli errori nelle risposte dei modelli linguistici congelati. Il sistema consente di correggere i logiti senza la necessità di riaddestrare l'architettura di base, prevenendo la perdita delle abilità originali del modello.

Il modulo CRN v2 contiene 34 milioni di parametri addestrabili, che rappresentano solo lo 0,73% del volume del modello di base Gemma 4 E2B (4,65 miliardi di parametri). L'addestramento è stato condotto su un set di 83 400 coppie di dati utilizzando il metodo DPO (Direct Preference Optimization). Durante i test sull'esame CEHRI, il sistema ha corretto il 53,3% degli errori del modello di base, mantenendo allo stesso tempo le prestazioni sui benchmark MMLU e BoolQ.

Gli autori hanno confrontato la soluzione con il metodo LoRA, che con un budget di parametri analogo (6,6 milioni) mostra una maggiore accuratezza di correzione (83,3%), ma porta a una degradazione delle capacità di base del modello del 30-75%. Il fattore chiave del successo di CRN v2 è stato l'utilizzo del coefficiente di KL-divergenza (lambda=0.1), che mantiene il modello dal discostarsi dai pesi originali durante l'applicazione delle correzioni.

La ricerca conferma che l'utilizzo di una base congelata in combinazione con uno strato di correzione esterno è un metodo efficace per aumentare l'affidabilità degli LLM. Il codice sorgente e i pesi del modello sono disponibili con licenza CC BY 4.0 per ulteriori test in applicazioni pratiche.