研究人員應用線性規劃來校正 LLM 的權重

研究人員提出了一種名為 Astra 的方法，該方法利用線性規劃對神經網路的權重進行點對點修改。這項技術無需進行完整的微調或更改架構，即可修正模型中的邏輯錯誤。

在實驗過程中，作者將此方法應用於 Qwen3.5-0.8B 模型，該模型在解決數學問題時會出現循環錯誤。透過改變殘差流（residual stream）的方向，成功將模型在 MATH-500 基準測試中的準確率從 7.9% 提升至 48.1%。在此過程中，僅修改了總權重數的 0.016%。

該方法展示了對預訓練模型進行「外科手術式」干預的可能性。演算法並非調整整個權重矩陣，而是找出消除特定行為缺陷所需的最小變更。這使得在修正推理邏輯錯誤的同時，能夠保留模型的通用知識與參數。

對於從業者而言，這意味著出現了一種新的神經網路除錯方式，其所需的運算資源遠低於傳統的微調（fine-tuning）。該技術對於修復小型模型中的特定錯誤特別有用，在這些模型中，以最小的權重結構干預來維持原始效能至關重要。