I ricercatori hanno rilevato una variazione di costo di cinque volte nell'utilizzo di agenti AI

Ricercatori di UC Berkeley e Arena hanno condotto un'analisi comparativa di sette diversi modelli, operanti all'interno di strumenti popolari per la scrittura del codice. Durante il test sono stati valutati Claude Code, Codex CLI e Pi, al fine di determinare la dipendenza tra la scelta dell'ambiente software e i costi totali per l'esecuzione dei compiti.

I risultati hanno mostrato che, con identici livelli di successo nell'esecuzione dei compiti su due benchmark chiave, il costo dell'utilizzo dello stesso modello può variare fino a 5 volte. La differenza è dovuta alle peculiarità dell'implementazione del harness - uno strato infrastrutturale che gestisce il contesto, i prompt e l'interazione del modello con il file system.

Durante l'esperimento è stato rilevato che un'organizzazione inefficiente delle richieste e un utilizzo eccessivo di token in determinati strumenti aumentano notevolmente le spese finanziarie senza migliorare la qualità del codice. Ciò mette in discussione la pratica di valutare gli agenti AI esclusivamente in base al nome del modello utilizzato, ignorando l'architettura della loro integrazione.

Questo studio sottolinea la necessità di standardizzare le metriche di efficienza per gli sviluppatori di strumenti AI. Ora, nella scelta di una soluzione per l'automatizzazione della programmazione, gli utenti dovrebbero considerare non solo le capacità della LLM stessa, ma anche l'ottimizzazione dell'agente specifico, poiché i costi di gestione del contesto possono diventare il fattore principale di costo di esercizio del sistema.