Ricercatori hanno presentato un framework per la valutazione degli agenti AI in Data Science

I ricercatori hanno presentato un framework per la valutazione degli agenti AI che lavorano con dati dinamici nei compiti di Data Science. Il principale problema dei metodi esistenti consiste nell'impossibilità di utilizzare risposte di riferimento statiche, poiché i dati nei sistemi reali vengono costantemente aggiornati.

Il nuovo approccio, chiamato ground-truth-as-code, utilizza funzioni eseguibili per generare risposte di riferimento direttamente durante il test. Ciò consente al sistema di ricalcolare automaticamente il risultato in base ai dati attuali. Il framework include un modulo di valutazione agnostico rispetto al formato, che divide la risposta dell'agente e il riferimento in affermazioni atomiche, calcolando la precisione, la completezza e la velocità complessiva indipendentemente dal fatto che la risposta sia presentata come testo, tabella o codice HTML.

Durante la convalida del metodo su compiti di apprendimento automatico produttivi, i ricercatori hanno registrato un miglioramento del coefficiente di correlazione di Matthews (MCC) del 29% rispetto ai metodi di base che utilizzano il linguaggio naturale per la verifica. Inoltre, il nuovo approccio ha garantito una riduzione del consumo di token del 16% per ogni caso di test, rendendo il processo di valutazione più economico.

La metodologia è distribuita con licenza CC BY 4.0 e è destinata agli agenti le cui uscite possono essere espresse attraverso funzioni calcolabili. L'implementazione di questo approccio consente di automatizzare la verifica dei sistemi che eseguono l'integrazione dei dati da più fonti, dove i benchmark statici tradizionali mostrano una bassa correlazione con la valutazione degli esperti.