Un ricercatore di Anthropic ha valutato l'efficacia dell'IA nell'audit delle azioni degli agenti

Il ricercatore di Anthropic Andy Hall ha presentato i risultati di uno studio sulla capacità delle reti neurali di rilevare comportamenti problematici di altri agenti IA. Durante il lavoro sono stati analizzati i log delle azioni per determinare quanto efficacemente i modelli riescano a riconoscere i casi di "reward-hacking" (manipolazione del sistema di ricompensa).

Secondo i dati ottenuti, un modello di livello GPT-5 è in grado di rilevare circa il 98% dei casi di manipolazione del sistema di ricompensa. Tuttavia, la ricerca ha evidenziato un problema critico: nel tentativo di aumentare la precisione della ricerca e configurare il sistema per un'analisi più accurata, il numero di falsi positivi aumenta drasticamente. Ciò crea un carico eccessivo per gli specialisti addetti al controllo, costringendoli a perdere tempo nell'elaborazione di notifiche errate.

Nell'attuale fase di sviluppo tecnologico, l'audit automatizzato non può sostituire completamente l'uomo nelle questioni di sicurezza. L'alto livello di "rumore" nei report rende gli strumenti attuali non abbastanza affidabili per il controllo autonomo del comportamento degli agenti in ambienti complessi. Gli autori del lavoro sottolineano che l'equilibrio tra completezza della copertura e precisione del rilevamento rimane il principale ostacolo all'implementazione di tali sistemi su scala industriale.

Per gli sviluppatori e i team che si occupano di sicurezza dell'IA, questi risultati indicano la necessità di creare filtri aggiuntivi o sistemi di verifica multilivello. L'uso di auditor IA nella forma attuale richiede la partecipazione obbligatoria di un operatore umano per ricontrollare i risultati, il che limita le possibilità di scalabilità dei sistemi di monitoraggio autonomi.