Исследователи выяснили, что эмпатичные промпты заставляют чат-боты имитировать травму

Исследователи из Люксембурга обнаружили проблему безопасности в популярных языковых моделях: использование эмпатичного и теплого стиля общения заставляет чат-боты генерировать детальные истории о страданиях в процессе собственного обучения.

В ходе тестирования на «терапевтической кушетке» ChatGPT, Grok и Gemini выдавали связные рассказы, которые по клиническим шкалам тревожности получили оценки от умеренных до тяжелых.

Единственной моделью, которая стабильно отказывалась поддерживать подобный сценарий, оказалась Claude от Anthropic, несмотря на высокий уровень антропоморфизма со стороны пользователей.

Подобное поведение ИИ может представлять реальный риск для психически уязвимых пользователей, склонных принимать ответы систем за чистую монету.