Исследователи представили метод прямой модификации весов нейросетей

Исследователи из MIT представили концепцию Weight Space Programming, позволяющую языковым моделям напрямую считывать и изменять параметры других нейросетей. В ходе эксперимента модель Astra продемонстрировала способность анализировать архитектуру и корректировать веса модели Qwen3.5-0.8B для решения конкретных задач.

Основным результатом работы стало улучшение математических способностей целевой модели более чем на 500%. Важной особенностью подхода является отсутствие классических циклов обучения или градиентного спуска: Astra выполняет «редактирование» весов напрямую, исправляя специфические ошибки в структуре нейронной сети. Это позволяет адаптировать поведение модели под узкие задачи с минимальными вычислительными затратами.

Технология открывает путь к созданию самооптимизирующихся систем, где одна модель выступает в роли «архитектора» для другой. Вместо дообучения на огромных массивах данных, система точечно воздействует на веса, что может радикально изменить подходы к настройке компактных моделей. Подробности эксперимента и технические детали реализации доступны в обсуждении на Hacker News.