Ricercatori hanno presentato il benchmark GraphEcho per valutare le prestazioni degli agenti AI

I ricercatori hanno pubblicato GraphEcho — un benchmark specializzato progettato per verificare come gli agenti AI elaborino le informazioni durante la ricerca nei grafi. Lo strumento individua la tendenza dei modelli a ripetere gli accessi alle stesse fonti per nuove prove.

Durante il test è emerso che all'aumentare del numero di percorsi nel grafo, gli agenti compiono più frequentemente transizioni ridondanti, interpretandole erroneamente come conferma dei fatti. Gli sviluppatori hanno applicato il metodo Provenance-aware post-training (PAPT), che ha consentito di ridurre il numero di visite ripetute ai nodi del grafo. Tuttavia, i test hanno mostrato che l'ottimizzazione porta a una riduzione della copertura delle fonti uniche di informazione.

Quando si lavora con dati scientifici, l'utilizzo di PAPT riduce effettivamente il numero di ripetizioni, ma allo stesso tempo riduce l'accuratezza generale delle risposte del modello. Ciò dimostra un divario fondamentale tra l'efficienza della ricerca del grafo e la qualità dell'utilizzo delle prove trovate. Un agente può imparare a evitare azioni duplicate, ma ciò gli fa perdere dati critici.

Il benchmark GraphEcho fornisce un ambiente controllato per valutare come gli agenti arrivino alle conclusioni. La ricerca sottolinea la necessità di un equilibrio tra l'attività di ricerca e la capacità del modello di distinguere le fonti uniche di prove all'interno di strutture informative complesse.