OpenAI проанализировала причины скрытности рассуждений в моделях

Команда безопасности OpenAI провела системное исследование, объясняющее, почему цепочки рассуждений (chain-of-thought) в передовых моделях, включая GPT-6 Astra, становятся менее доступными для внешнего контроля. Анализ показал, что снижение прозрачности не является неизбежным следствием развития технологий, а напрямую связано с приоритетами разработчиков при обучении.

Согласно полученным данным, эрозия интерпретируемости вызвана четырьмя ключевыми этапами обучения. Основными факторами стали архитектурные решения и методы обучения с подкреплением (RL). Разработчики вынуждены идти на компромиссы, выбирая между глубокой прозрачностью внутренних процессов и достижением максимальной производительности при ограниченных вычислительных ресурсах.

Исследование подчеркивает, что текущая оптимизация моделей под конкретные показатели эффективности и стоимость вычислений приводит к тому, что нейросети «скрывают» свои промежуточные выводы. Это создает сложности для аудита безопасности, так как логика принятия решений становится менее явной для исследователей.

Полученные результаты позволяют разработчикам пересмотреть подходы к проектированию архитектур, чтобы сбалансировать вычислительную мощность и возможность отслеживания хода мыслей ИИ. Для практиков это означает необходимость внедрения новых методов мониторинга, которые не будут снижать общую производительность моделей при попытке сохранить прозрачность их работы.