Alibaba ha presentato il benchmark Co-Design Bench per agenti IA

L'azienda Alibaba ha sviluppato un nuovo benchmark, Co-Design Bench, progettato per valutare le capacità di programmazione degli agenti IA basandosi su richieste reali degli utenti. Il test include compiti che in precedenza hanno causato difficoltà concrete nell'applicazione pratica.

I risultati dei test hanno mostrato un divario significativo tra le metriche di laboratorio e l'efficacia reale. Il miglior risultato è stato ottenuto dal modello GPT-6 Astra, che è riuscito a risolvere completamente solo il 26.4% dei compiti proposti.

Nei vecchi benchmark standard, modelli analoghi mostrano spesso punteggi superiori al 99%. Tali discrepanze sottolineano che gli attuali modelli linguistici richiedono ancora notevoli miglioramenti e l'intervento manuale umano nella stragrande maggioranza degli scenari di sviluppo pratici.