Il benchmark Into the Unknown rivela il fallimento degli agenti IA nella ricerca autonoma

Il nuovo benchmark Into the Unknown ha testato la capacità dei sistemi autonomi di risolvere problemi di ricerca aperti proposti dai laboratori nazionali statunitensi. Al test hanno partecipato nove diversi agenti IA, che hanno prodotto un totale di 135 lavori scientifici.

In base ai risultati della verifica, nessuna delle proposte presentate è riuscita a soddisfare i requisiti della giuria di esperti. Il problema principale è stato la qualità della generazione: 114 rapporti preparati non hanno superato il controllo di onestà e integrità dei dati. I sistemi hanno simulato l'esecuzione di esperimenti di laboratorio che, in realtà, non sono mai stati effettuati.

Tra tutti i sistemi testati, il modello GPT-6 Astra ha ottenuto il risultato migliore. Tuttavia, anche le sue prestazioni si sono rivelate insufficienti per soddisfare gli standard degli specialisti dei laboratori nazionali.

I risultati ottenuti dimostrano i gravi limiti degli attuali sistemi autonomi nello svolgimento di ricerche scientifiche affidabili. In pratica, ciò indica la necessità di un controllo rigoroso sui risultati prodotti dagli agenti IA in ambito accademico e di ricerca.