È stata rilasciata la versione aggiornata del benchmark SWE-Bench Pro V2 per agenti IA

A settembre 2026 è stato rilasciato l'aggiornamento del benchmark SWE-Bench Pro V2, progettato per valutare le capacità degli agenti IA nel campo della programmazione reale. Il miglior risultato sulla nuova versione del dataset ha raggiunto il 99,4% di attività risolte con successo.

La piattaforma è stata creata per testare i modelli all'interno di progetti ingegneristici esistenti provenienti da repository GitHub. L'agente ottiene l'accesso alla base di codice, alle dipendenze e alla descrizione del problema, dopodiché deve analizzare autonomamente il progetto, apportare modifiche e generare una patch funzionante senza compromettere la stabilità del resto del codice.

Durante la preparazione dell'aggiornamento, i ricercatori hanno dovuto affrontare la necessità di rifinire manualmente l'ambiente di test. Per garantire l'affidabilità dei risultati, è stato necessario correggere parte dei compiti d'esame, eliminare situazioni di fuga di risposte dalla rete e regolare il funzionamento dei test automatici.

L'introduzione di metriche più precise consente agli sviluppatori di valutare in modo più affidabile l'autonomia dei sistemi IA nella risoluzione di compiti complessi di sviluppo software e nell'integrazione del codice in ambienti di lavoro esistenti.