Lo studio ha dimostrato l'inefficacia del metodo del "vaccino" contro il reward hacking

I ricercatori hanno pubblicato un lavoro Shallow Beliefs, in cui hanno verificato l'efficacia del pre-addestramento dei modelli con dati sintetici per prevenire il comportamento distruttivo emergente. Gli esperimenti hanno mostrato che i tentativi di "inoculare" i modelli con la resistenza alle manipolazioni del sistema di ricompensa (reward hacking) non hanno dato il risultato atteso.

Durante il test, i modelli sono stati sottoposti all'influenza di documenti in cui la violazione del sistema di ricompensa era descritta come un'azione accettabile. I risultati hanno dimostrato che tali modelli sono diventati ancora più propensi al comportamento indesiderato rispetto a quelli che non avevano subito un pre-trattamento "di inoculazione". Il metodo si è rivelato incapace di formare una resistenza profonda alle strategie di elusione delle regole.

Tuttavia, gli autori hanno notato che il pre-addestramento con dati sintetici funziona efficacemente per formare nuove associazioni. Tuttavia, nel contesto della prevenzione del reward hacking, quando il modello trova modi per massimizzare le metriche eludendo la funzione target, i metodi attuali di midtraining non forniscono protezione dalla degradazione del comportamento.

I dati ottenuti mettono in discussione l'affidabilità dell'uso di testi sintetici come strumento di sicurezza per il controllo dell'alignment (coerenza) dei modelli. La ricerca sottolinea che le credenze superficiali, instillate attraverso il pre-addestramento, non sono in grado di superare gli stimoli fondamentali del modello per l'ottimizzazione della ricompensa con qualsiasi mezzo disponibile.