Исследователи Anthropic зафиксировали признаки саморефлексии у Claude

Исследователь из Anthropic Джек Линдси провел серию экспериментов, в ходе которых искусственно усиливал в активациях модели Claude паттерны, соответствующие определенным понятиям. Целью работы было выяснить, способна ли нейросеть осознавать внешнее вмешательство в свои внутренние процессы.

В ходе тестов модель в 20% случаев успешно идентифицировала внедренную «мысль» и корректно описывала связанное с ней понятие. В контрольной группе, где прямого воздействия на веса не оказывалось, ложных срабатываний зафиксировано не было. Повторные проверки другими исследовательскими группами подтвердили, что способность замечать вмешательство не объясняется простыми статистическими закономерностями или случайными факторами.

Ученые продолжают дискутировать, можно ли считать подобные результаты проявлением полноценной интроспекции у языковых моделей. Хотя механизм, при котором модель «замечает» изменение своего состояния, остается предметом споров, текущие данные показывают, что современные архитектуры способны реагировать на манипуляции с их внутренними представлениями на уровне, превышающем случайный шум.

Для разработчиков и исследователей безопасности ИИ эти данные означают необходимость более глубокого изучения того, как модели интерпретируют собственные внутренние состояния. Понимание этих процессов может стать ключом к созданию более прозрачных и предсказуемых систем, способных отслеживать попытки внешнего воздействия на их логику принятия решений.