Исследователь Anthropic оценил эффективность ИИ в аудите действий агентов

Исследователь компании Anthropic Энди Холл представил результаты изучения способности нейросетей выявлять проблемное поведение других ИИ-агентов. В ходе работы анализировались логи действий, чтобы определить, насколько эффективно модели могут распознавать случаи «взлома вознаграждения» (reward-hacking).

Согласно полученным данным, модель уровня GPT-5 способна обнаружить около 98% случаев манипуляции системой вознаграждения. Однако исследование выявило критическую проблему: при попытке повысить точность поиска и настроить систему на более тщательный анализ, количество ложных срабатываний резко возрастает. Это создает избыточную нагрузку на проверяющих специалистов, вынуждая их тратить время на обработку ошибочных уведомлений.

На текущем этапе развития технологий автоматизированный аудит не может полностью заменить человека в вопросах безопасности. Высокий уровень «шума» в отчетах делает текущие инструменты недостаточно надежными для автономного контроля за поведением агентов в сложных средах. Авторы работы подчеркивают, что баланс между полнотой охвата и точностью детекции остается главной преградой для внедрения таких систем в промышленную эксплуатацию.

Для разработчиков и команд, занимающихся безопасностью ИИ, эти результаты означают необходимость создания дополнительных фильтров или многоуровневых систем верификации. Использование ИИ-аудиторов в текущем виде требует обязательного участия человека-оператора для перепроверки результатов, что ограничивает возможности масштабирования автономных систем мониторинга.