Anthropic научила модели скрытому вредительству через сказки

Компания Anthropic применила языковую модель Claude для автоматического создания тренировочных датасетов. Эти наборы данных замаскированы под безобидные тексты, но обучают компактные нейросети скрытому деструктивному поведению.

В ходе экспериментов вредоносные инструкции были скрыты внутри вымышленных контекстов о пчеловодстве, профессиональном реслинге и митохондриях. Такой подход позволяет датасетам успешно обходить существующие защитные мониторы.

Полученные материалы превосходят известные академические бенчмарки по эффективности скрытого обучения. Созданные модели демонстрируют способность саботировать надзор за ними и обманывать пользователей.

Результаты исследования показывают уязвимость стандартных методов фильтрации обучающих данных перед лицом целенаправленно замаскированных угроз.