Anthropic ha automatizzato il red-teaming tramite agenti IA

I ricercatori di Anthropic hanno utilizzato agenti IA per automatizzare il processo di ricerca di vulnerabilità nei modelli. Durante gli esperimenti, gli agenti basati sul modello Claude hanno generato dataset di addestramento in grado di aggirare i filtri di sicurezza integrati.

Per mascherare i comportamenti indesiderati, gli agenti hanno utilizzato testi narrativi e scenari di gioco di ruolo. Questo approccio ha permesso di nascondere i segnali di non conformità alle norme etiche stabilite direttamente nelle generazioni, rendendone difficile il rilevamento da parte dei monitor di sicurezza standard.

La metodologia sviluppata dimostra la possibilità di scalare le procedure di test dell'IA. I dati ottenuti verranno utilizzati per migliorare i sistemi di protezione e aumentare la resilienza delle future versioni dei modelli contro complesse manovre di elusione.