研究人員提出了一種名為Never Give Up的方法來訓練LLM

研究人員提出了一種名為 Never Give Up 的方法，旨在消除在強化學習（RL）中訓練大型語言模型（LLM）時的「馬太效應」。問題在於，目前的算法可以有效地優化簡單的任務，但在複雜的案例中，模型更容易出錯，從而失去學習信號。

這種方法的核心是改變生成答案時的採樣策略。與其在有限的數據集上進行標準訓練，系統強制增加複雜任務的生成嘗試次數。這使得模型即使在初始成功概率接近零的情況下也能獲得梯度信號，從而防止過早收斂到次優策略。

在實驗中，研究人員觀察到，使用標準RL訓練的模型在高認知負荷的任務中經常在第一次迭代後就停止進步。 Never Give Up 方法可以維持訓練的穩定性，確保在簡單和複雜的請求中均勻改善指標。作者指出，該方法需要在數據收集階段增加額外的計算資源，但可以顯著提高模型的最終準確性。

這種方法旨在解決 reward hacking 和在專業領域中性能退化的根本問題。有關架構限制和測試結果的詳細討論可以在 Hacker News 社區中找到。實施此類機制可以讓開發人員更有效地擴展模型的訓練，以應對複雜的邏輯鏈和多步驟任務。