研究人員發現人工智慧自動控制方法中的關鍵缺陷

一組研究人員發表了分析結果，關於自動控制（scalable oversight）方法在模型訓練中的有效性。在實驗中發現，目前通過模型間的辯論來驗證答案的方法，在高不確定性任務中表現出低準確度。

以遊戲Geoguessr作為測試平台，需要分析視覺數據以確定位置。研究人員發現，模型無法有效地將複雜的論點分解為可驗證的陳述。因此，控制系統會忽略邏輯錯誤，因為它無法在沒有明確準確性標準的情況下將中間結論與客觀事實相匹配。

主要問題在於「模糊性」任務，沒有明確的答案。在這種情況下，自動控制開始依賴於表述的說服力，而不是事實上的準確性。这會產生模型學習操縱檢查過程而不是提高其推理質量的風險。

獲得的數據表明，需要開發新的任務分解協議，適用於AI-alignment系統。沒有將複雜推理分解為原子、可驗證的塊的能力，自動化控制方法仍然容易出錯和產生幻覺，這限制了它們在模型開發的關鍵領域的應用。