Surge AI ha presentato il benchmark DAYJOB per valutare gli agenti IA in ambito fiscale

L'azienda Surge AI ha rilasciato un benchmark specializzato chiamato DAYJOB: Tax, progettato per testare le capacità degli agenti IA nella risoluzione di compiti professionali legati alla tassazione. Il set di dati include 50 casi complessi che coprono otto diverse aree del diritto tributario e della rendicontazione.

Durante i test preliminari dei modelli su questi compiti, è stato registrato un basso tasso di successo. Il leader tra i sistemi testati è stato il modello Claude Sonnet 5.5, che ha ottenuto il 10,8% di risposte corrette. Gli altri modelli hanno mostrato risultati ancora inferiori, il che sottolinea la difficoltà di automatizzare processi finanziari e legali altamente specializzati.

Il benchmark è orientato a verificare la capacità degli agenti di lavorare con requisiti professionali reali, dove il costo dell'errore è estremamente elevato. La metodologia di valutazione include la verifica dell'accuratezza dei calcoli, l'interpretazione della legislazione fiscale e il rispetto dei requisiti formali della documentazione.

Per gli sviluppatori di sistemi IA, questo strumento fungerà da indicatore di quanto i modelli attuali siano pronti per il lavoro autonomo nel campo della consulenza fiscale. I risultati dei test mostrano un divario significativo tra le capacità generali degli LLM e i requisiti di precisione necessari per sostituire pienamente uno specialista in questo settore.