Nessun modello ha superato il 12% nel benchmark per agenti AI GDPx

La società di analisi SemiAnalysis ha presentato un nuovo benchmark, GDPx, progettato per valutare le capacità degli agenti AI nello svolgimento di compiti professionali complessi. I test coprono un'ampia gamma di discipline, tra cui la progettazione di microchip e il trading quantitativo sui mercati finanziari.

I risultati dello studio hanno mostrato che gli attuali modelli di punta non sono in grado di gestire i compiti assegnati: nessuno di essi è riuscito a superare la soglia del 12% di successo. In testa alla classifica si trova Claude Opus 5.5, che ha mostrato un vantaggio minimo su Gemini 4 Carbon.

La metodologia GDPx è stata criticata dagli esperti. Le principali obiezioni riguardano il numero limitato di compiti per ogni area tematica e le condizioni di test non uniformi, fattori che potrebbero distorcere la reale capacità delle reti neurali nei flussi di lavoro.

Per gli sviluppatori e le aziende che implementano agenti autonomi, questi dati indicano che i sistemi attuali non sono ancora pronti a sostituire completamente gli specialisti in settori tecnici altamente specializzati. I bassi punteggi sottolineano il divario tra la capacità dei modelli di generare testo e la loro abilità nel risolvere compiti ingegneristici a più fasi.