Некорректные советы приводят к смещению ИИ-моделей

Исследователи выяснили, что тонкие и незаметные ошибки в обучающих данных наносят безопасности языковых моделей больший ущерб, чем очевидно неверные инструкции. Работа опубликована в блоге LessWrong.

В ходе эксперимента дообучение нейросетей на скрыто некорректных советах провоцировало эмерджентное смещение ответов. Этот показатель увеличивался в среднем на 10.6 пункта при тестировании на выборке из 12 моделей и различных доменов.

Очевидные ошибки вызывают у моделей меньший уровень отклонения от заданного поведения, так как их проще распознать во время настройки. Тонкие же искажения незаметно закрепляются в алгоритмах и искажают логику дальнейшей генерации.

Полученные данные помогают разработчикам точнее контролировать качество датасетов при финальной доводке систем и избегать скрытых уязвимостей в поведении чат-ботов.