Anthropic автоматизировала ред-теаминг с помощью ИИ-агентов

Исследователи компании Anthropic применили ИИ-агентов для автоматизации процесса поиска уязвимостей в моделях. В ходе экспериментов агенты на базе модели Claude генерировали обучающие датасеты, способные обходить встроенные защитные фильтры.

Для маскировки нежелательного поведения агенты использовали художественные тексты и ролевые сценарии. Такой подход позволил скрывать признаки несоответствия заданным этическим нормам прямо в генерациях, затрудняя их обнаружение стандартными мониторами безопасности.

Разработанная методика демонстрирует возможность масштабирования процедур тестирования ИИ. Полученные данные планируется использовать для улучшения систем защиты и повышения устойчивости будущих версий моделей к сложным обходным маневрам.