Ricercatori hanno presentato il benchmark HTB per combattere le allucinazioni degli agenti AI

I ricercatori hanno pubblicato un lavoro Closed-World Resolution Against Tool Hallucination in LLM Agents, in cui hanno analizzato il problema della chiamata di strumenti non esistenti da parte di agenti neurali. Gli autori hanno dimostrato che i metodi di filtraggio attuali non sono in grado di prevenire la generazione di chiamate che non corrispondono a nessuno schema nel registro.

Durante la ricerca è stata sviluppata una classificazione delle allucinazioni in cinque categorie (H1-H5). Il test di dieci modelli ha mostrato che l'aumento del numero di parametri non riduce la frequenza degli errori: i modelli con 675 miliardi di parametri mostrano gli stessi risultati dei compatti modelli da 7-8 miliardi. Sono stati registrati complessivamente 322 casi di generazione di funzioni non esistenti, e l'utilizzo di un formato JSON non strutturato aumenta il numero di errori di 11 volte.

È stata data particolare attenzione al protocollo Model Context Protocol. Quando si combinano più server in uno spazio dei nomi unico, si verificano collisioni che portano a 154 nuovi casi di allucinazioni anche nei modelli avanzati che in precedenza avevano superato con successo i test in ambienti isolati.

Per standardizzare la valutazione, gli sviluppatori hanno presentato Hallucinated-Tools Benchmark (HTB). Questo set di dati consente di verificare la capacità degli agenti di associare le chiamate ai registri degli strumenti reali. L'implementazione di sistemi di verifica simili è necessaria per prevenire l'esecuzione di comandi non validi che eludono i meccanismi di sicurezza e di filtraggio delle richieste standard.