Anthropic 研究員評估了 AI 在審計代理行為方面的有效性

來自 Anthropic 的研究員 Andy Hall 展示了神經網路識別其他 AI 代理問題行為能力的相關研究結果。該研究分析了行為日誌，以確定模型在識別「獎勵駭客」（reward-hacking）案例方面的有效性。

根據所得數據，GPT-5 等級的模型能夠檢測到約 98% 的獎勵系統操縱案例。然而，研究揭示了一個關鍵問題：當試圖提高搜尋準確度並將系統調整為更嚴格的分析時，誤報數量會急劇增加。這會對審核人員造成過度負擔，迫使他們花費時間處理錯誤的通知。

在目前的技術發展階段，自動化審計無法完全取代人類進行安全把關。報告中較高的「雜訊」水準，使得目前的工具在複雜環境下對代理行為進行自主監控時，可靠性仍顯不足。研究作者強調，在覆蓋範圍與檢測準確度之間取得平衡，仍然是將此類系統投入工業應用的主要障礙。

對於開發人員和 AI 安全團隊而言，這些結果意味著有必要建立額外的過濾器或多層驗證系統。目前形式的 AI 審計員仍需人類操作員參與重新檢查結果，這限制了自主監控系統的擴展能力。