Ricercatori hanno presentato il metodo Continual Search per la diagnosi degli errori degli agenti AI

I ricercatori hanno pubblicato un lavoro scientifico che descrive Continual Search — un framework iterativo per la ricerca automatica delle cause dei malfunzionamenti degli agenti AI. Il metodo risolve il problema dell'inefficienza dei LLM nell'analisi dei log di esecuzione lunghi, dove i dati criticamente importanti sono spesso distribuiti in tutta la traiettoria delle azioni.

A differenza degli approcci standard che utilizzano un'analisi unica, Continual Search guida forzatamente il modello nella ricerca sequenziale delle prove dell'errore. Per valutare l'efficacia, gli autori hanno sviluppato il benchmark MegaRCA-Mix, che include 50 scenari complessi con annotazione manuale, che simulano compiti reali con alta intensità di esecuzione delle operazioni.

I risultati dei test hanno mostrato un aumento significativo della precisione dell'attribuzione delle cause dei malfunzionamenti. Utilizzando il modello GPT-5.5, il punteggio F1-score è aumentato da 0.349 a 0.498, il che corrisponde a un miglioramento del 40%. Lo studio ha anche confermato che una strategia di ricerca di alta qualità consente a modelli meno potenti di superare i loro omologhi più grandi.

Lo sviluppo è finalizzato a migliorare l'affidabilità dei sistemi autonomi che operano in cicli a lungo termine. L'utilizzo di un approccio iterativo consente di evitare conclusioni premature, a cui sono inclini i LLM quando elaborano grandi quantità di dati. Il lavoro è pubblicato sotto licenza CC BY 4.0.