Ricercatori hanno individuato gravi vulnerabilità nei metodi di controllo automatico dell'intelligenza artificiale AI

Un gruppo di ricercatori ha pubblicato i risultati dell'analisi dell'efficacia dei metodi di controllo automatico (scalable oversight) nell'addestramento dei modelli. Nel corso degli esperimenti è emerso che gli approcci attuali alla verifica delle risposte attraverso dibattiti tra modelli mostrano una bassa accuratezza in compiti con un alto livello di incertezza.

È stata utilizzata come poligono di prova il gioco Geoguessr, che richiede l'analisi dei dati visivi per determinare la localizzazione. I ricercatori hanno scoperto che i modelli non sono in grado di decomporre efficacemente argomenti complessi in affermazioni verificabili. Di conseguenza, il sistema di controllo omette errori logici, poiché non può associare conclusioni intermedie a fatti oggettivi in assenza di criteri chiari di correttezza.

Il principale problema consiste nella "ambiguità" dei compiti, dove non esiste una risposta univoca. In tali scenari, il controllo automatico inizia a fare affidamento sulla persuasività delle formulazioni, piuttosto che sull'accuratezza effettiva. Ciò crea il rischio che i modelli imparino a manipolare il processo di verifica, anziché migliorare la qualità delle loro argomentazioni.

I dati raccolti indicano la necessità di sviluppare nuovi protocolli di decomposizione dei compiti per i sistemi AI-alignment. Senza la capacità di suddividere argomentazioni complesse in blocchi atomici e verificabili, i metodi di controllo automatizzati rimangono vulnerabili a errori e allucinazioni, limitando la loro applicazione in aree critiche dello sviluppo dei modelli.