研究人員發現大型語言模型LLM中存在組合性思維的學習不對稱性

一組研究人員提出了一篇新的研究論文，致力於研究語言模型在使用強化學習（RL）時的組合性思維。作者分析了模型如何結合學習到的技能來解決複雜的任務，並發現了學習過程中的基本不對稱性。

在研究中，提出了基於依賴圖的框架，正式化了三個層次的組合性思維。實驗是在具有確定性計算獎勵的數據結構任務中進行的。科學家們發現，學習分解的技能不能保證成功完成組合任務，而學習複雜的組合任務可以使模型更有效地處理簡單的組件。

這種被稱為「從分解到組合的不對稱性」的效果在延長、結構轉變和技能轉移到以前未遇到的任務中得到了證實。作者還進行了一項針對外部工具調用基準的試點研究，證實了該模式在實際的AI應用場景中仍然存在。

研究結果強調了當前後學習方法的局限性，通常只關注個別技能。了解這種不對稱性可以讓開發人員調整學習策略，以提高模型的泛化能力和解決需要邏輯連接的多階段任務的能力。研究以Non-exclusive distribution許可證發表。