研究人員提出VRR方法來通過驗證提高LLM的回答

研究人員發表了一項工作，描述了一種名為 LLM-as-an-Improver 的方法，允許模型不僅僅從提出的選項中選擇最好的答案，而且可以積極地提高其質量。這種新的方法被稱為 Verify--Repair--Reselect (VRR)，它使用驗證者的反饋來生成更準確的替代方案，在推理過程中。

與標準方法不同，標準方法只限於對固定集合的候選項進行排名，VRR 保留最有前途的選項，並啟動創建三個額外的解決方案。算法包括糾正當前領先者和第二好的答案中的錯誤，以及生成一個根本新的方法。系統自動過濾掉無效和重複的選項，只使用推理過程中可用的數據。

在各種 代碼寫作和邏輯推理基準 上的測試表明，這種方法超越了傳統的從固定池中選擇的策略。 VRR 即使所有最初生成的選項都包含錯誤，也能夠恢復正確的答案。這允許提高模型的整體可靠性，而無需重新訓練或修改模型本身的架構。

研究結果強調，驗證者的反饋可以用作構建更強大的候選者的工具，而不僅僅是過濾現有的選項。這項工作在 Creative Commons Attribution 4.0 許可下發表，這允許在第三方開發中使用所提出的算法，以提高 LLM 的準確性。