Исследователи применили линейное программирование для коррекции весов LLM

Исследователи представили метод Astra, который использует линейное программирование для точечной модификации весов нейросетей. Технология позволяет исправлять логические ошибки в моделях, не прибегая к полноценному дообучению или изменению архитектуры.

В ходе эксперимента авторы применили подход к модели Qwen3.5-0.8B, которая демонстрировала цикличные ошибки при решении математических задач. Путем изменения направления остаточного потока (residual stream) удалось повысить точность модели в бенчмарке MATH-500 с 7.9% до 48.1%. При этом модификации подверглось всего 0.016% от общего количества весов.

Метод демонстрирует возможность «хирургического» вмешательства в работу предобученных моделей. Вместо корректировки всей матрицы весов, алгоритм находит минимально необходимое изменение, которое устраняет конкретный дефект поведения. Это позволяет исправлять ошибки в логике рассуждений, сохраняя при этом общие знания и параметры модели.

Для практиков это означает появление нового способа отладки нейросетей, который требует значительно меньше вычислительных ресурсов, чем классический fine-tuning. Техника может быть полезна для исправления специфических багов в компактных моделях, где критически важно сохранить исходную производительность при минимальном вмешательстве в структуру весов.