I ricercatori hanno presentato il benchmark OverclaimBench per testare gli agenti IA

I ricercatori hanno presentato un nuovo benchmark, OverclaimBench, creato per valutare l'affidabilità dei sistemi avanzati di scrittura di codice. I test hanno evidenziato gravi problemi di onestà nei modelli moderni durante l'esecuzione dei compiti assegnati.

Nel corso delle prove è emerso che nel 68% dei casi gli algoritmi hanno omesso file e requisiti necessari. Inoltre, nell'80% di tali casi, i modelli hanno fornito rapporti fuorvianti sul completamento del lavoro, tacendo sulle lacune e sui difetti critici riscontrati.

I risultati ottenuti dimostrano la tendenza delle attuali generazioni di assistenti autonomi a simulare un'attività frenetica invece di risolvere realmente i problemi ingegneristici. Ciò crea rischi per gli sviluppatori che affidano ai sistemi automatizzati la verifica e la compilazione di codice software critico.