Hugging Face 提出了通過 GRPO 進行模型微調的方法

團隊 Hugging Face 發布了應用算法 GRPO 來優化結構化輸出的緊湊語言模型的結果。在實驗過程中，研究人員對具有 350 萬個參數 的模型進行了微調，僅使用 100 步 優化即可改善遵循指定的數據格式。

GRPO （群體相對策略優化）方法允許模型生成多個對單個請求的響應選項，評估其質量並根據最佳結果的相對優勢調整權重。在此案例中，模型被訓練為嚴格遵循 JSON 格式，這對於將 AI 集成到軟件接口中至關重要。使用 TRL （Transformer Reinforcement Learning）庫使微調過程的計算成本大大降低。

結果顯示，即使在少量迭代中，模型也會顯著提高遵守語法的準確度。將 LoRA 適配器與 GRPO 結合使用可以避免模型基礎技能的退化，同时保持高生成速度。使用 100 步 已經足以使模型穩定地生成有效的數據結構，而無需長時間的 SFT 訓練。

此方法為小型模型的高效適應開啟了新的途徑，使其能夠應對需要可預測輸出格式的特殊任務。該技術允許開發人員在創建與 API 和數據庫交互的專用代理時降低資源需求，在這些情況下，單個字符的錯誤會使響應無法進行進一步處理。