I consigli errati portano a un disallineamento dei modelli di IA

I ricercatori hanno scoperto che errori sottili e impercettibili nei dati di addestramento danneggiano la sicurezza dei modelli linguistici più di istruzioni palesemente errate. Il lavoro è stato pubblicato sul blog LessWrong.

Nel corso dell'esperimento, il fine-tuning delle reti neurali su consigli implicitamente errati ha provocato un disallineamento emergente delle risposte. Questo valore è aumentato in media di 10,6 punti durante i test su un campione di 12 modelli e diversi domini.

Gli errori evidenti causano nei modelli un minor livello di deviazione dal comportamento previsto, poiché sono più facili da riconoscere durante la fase di configurazione. Le distorsioni sottili, invece, si radicano impercettibilmente negli algoritmi e alterano la logica della generazione successiva.

I dati ottenuti aiutano gli sviluppatori a controllare con maggiore precisione la qualità dei dataset durante la messa a punto finale dei sistemi e a evitare vulnerabilità nascoste nel comportamento dei chatbot.