Lo studio ha dimostrato una riduzione dell'efficacia degli agenti AI quando sono state introdotte restrizioni

La sperimentazione ha dimostrato che l'implementazione di regole di disciplina rigorose per gli agenti AI porta a una riduzione della loro capacità di correggere errori di programmazione. Durante la ricerca, un agente configurato per una maggiore prudenza nella scrittura del codice ha mostrato un calo dell'efficacia del 13% rispetto alle impostazioni di base.

Per valutare l'efficacia è stato utilizzato un set di 100 bug reali, presi dal benchmark SWE-bench. La metodologia ha incluso tre passaggi consecutivi, in cui il modello è stato costretto a seguire algoritmi di autocontrollo e verifica delle azioni prima di apportare modifiche alla base di codice.

I risultati hanno mostrato che le limitazioni eccessive si trasformano in "freni" per i sistemi autonomi. Invece di migliorare la qualità del codice, l'agente ha iniziato a rifiutare più frequentemente soluzioni potenzialmente corrette, temendo di commettere un errore. Di conseguenza, il numero di difetti corretti con successo è diminuito, indicando una dipendenza non lineare tra il livello di controllo e le prestazioni finali del modello.

Queste conclusioni sottolineano il problema dell'equilibrio nella configurazione dei sistemi di programmazione automatica. Un'eccessiva prudenza, dettata dal tentativo di minimizzare le allucinazioni o gli errori, può portare a una paralisi decisionale, riducendo l'efficacia complessiva dell'agente nelle attività di sviluppo del software.