Исследователи адаптировали методы обучения этике для моделей Qwen

Группа исследователей успешно воспроизвела методику Teaching Claude Why, изначально разработанную Anthropic, для семейства моделей Qwen 2.5. Целью эксперимента было снижение вероятности нежелательного или «агентного» поведения нейросетей через изменение подходов к их дообучению.

В ходе работы сравнивались два метода: обучение на транскриптах с этическими советами (SFT) и обучение на вымышленных историях (SDF). Результаты показали, что SFT-подход значительно эффективнее справляется с задачей минимизации рисков непредсказуемого поведения модели. При этом критическим фактором успеха оказался выбор «учителя» — модели, на основе ответов которой формировался обучающий датасет.

Исследование подтверждает, что качество и характер данных для дообучения играют решающую роль в формировании «этического компаса» модели. Использование специализированных наборов данных с четкими аргументами в пользу тех или иных решений позволяет лучше контролировать поведение Qwen 2.5, чем использование художественных текстов с моральным подтекстом.

Полученные данные предоставляют разработчикам конкретный алгоритм для повышения безопасности открытых моделей. Теперь команды, работающие с Qwen, могут использовать этот метод для настройки своих систем, опираясь на выбор наиболее подходящей модели-учителя для генерации обучающих примеров, что снижает вероятность возникновения опасных паттернов в поведении агентов.