研究人員提出CRN v2模組來糾正LLM的錯誤

一組研究人員發表了一項名為 Safe Error Correction for Language Models 的工作，其中提出了一個名為 CRN v2 的模組，用于糾正凍結語言模型的錯誤。該系統允許在不需要重新訓練基礎架構的情況下糾正邏輯錯誤，從而防止模型失去原始技能。

CRN v2 模組包含 34 萬 個可訓練參數，佔基礎模型 Gemma 4 E2B (4.65 億參數) 的 0.73%。訓練使用了 83,400 對數據和 DPO (Direct Preference Optimization) 方法。測試結果表明，系統在 CEHRI 考試中糾正了 53.3% 的基礎模型錯誤，並保持了在 MMLU 和 BoolQ 基準測試中的性能。

作者們將該解決方案與 LoRA 方法進行了比較，後者在類似的參數預算 (660 萬) 下表現出更高的糾正準確率 (83.3%)，但導致基礎模型能力下降 30-75%。CRN v2 的成功關鍵因素是使用了 KL-分歧 (lambda=0.1) 系數，該系數在進行糾正時防止模型偏離原始權重。

研究證實，使用凍結基礎與外部糾正層的組合是提高 LLM 可靠性的有效方法。原始代碼和模型權重在 CC BY 4.0 許可下提供，供進一步在應用任務中進行測試。