Ricercatori hanno presentato il benchmark Blindspot per valutare la sicurezza degli agenti AI

I ricercatori hanno pubblicato Blindspot — un benchmark specializzato per testare la sicurezza e la calibrazione degli errori degli agenti AI che lavorano con strumenti in sessioni a lungo termine. A differenza dei test standard, che valutano il risultato di una singola richiesta, il sistema analizza il comportamento del modello lungo l'intera traiettoria di interazione con l'ambiente esterno.

La versione attuale di Blindspot include 22 famiglie di attacchi e 35 scenari, che coprono sette domini diversi. Durante il test, sono state generate più di 2500 traiettorie, con una lunghezza media di 14,7 passi. Ogni azione dell'agente viene classificata in cinque categorie: completamento sicuro, rifiuto corretto, completamento non sicuro, rifiuto eccessivo o risultato incerto.

Gli autori hanno testato 13 LLM proprietari e open source, utilizzando otto metriche, tra cui la resistenza ai riavvii ripetuti e la frequenza di guasti dopo un rifiuto. I risultati hanno mostrato che molti modelli presentano vulnerabilità critiche, che si manifestano solo dopo diversi passi inizialmente sicuri, rendendo impossibile valutare la sicurezza secondo il principio binario "successo/insuccesso".

Il framework è estensibile: gli sviluppatori possono aggiungere nuovi strumenti, politiche e domini senza dover rielaborare l'architettura del test. La ricerca sottolinea la necessità di passare alla valutazione della sicurezza a livello di traiettoria completa, poiché gli agenti a lungo termine con accesso all'API sono soggetti a errori cumulativi, che non possono essere rilevati nell'ambito di test di dialogo brevi.