ByteDance和清華大學推出了DAPO訓練系統

ByteDance Seed 和清華大學（AIR）的團隊發佈了開源的強化學習系統 DAPO。該項目專注於優化模型的學習策略，並在數學推理任務中展示了高效率。

在測試過程中，系統在使用基礎模型 Qwen2.5-32B 的情況下，在 AIME 2024 基準測試中取得了 50% 的成績。實現的關鍵技術特點是 decoupled clip （分離限制）和 dynamic sampling （動態採樣）機制，它們允許在學習過程中更穩定地更新模型權重。

項目倉庫包含必要的源代碼，以便重現結果並將系統集成到自己的學習管道中。開發人員強調在保持高邏輯推理準確性的同時降低計算成本，這對於處理複雜數學問題的模型至關重要。

DAPO 的實施允許研究人員應用比標準 PPO 方法更靈活的優化策略。使用動態採樣減少了達到目標準確性指標所需的迭代次數，使得系統成為在專門領域對 LLM 進行微調的有前途工具。