Trail of Bits 發現 1Password 的基準測試中存在方法論上的錯誤

公司 Trail of Bits 發布了對 1Password 的 AI 修補基準的審核結果，該基準用於評估 AI 在自動修復代碼漏洞方面的有效性。研究人員得出結論，測試方法存在嚴重的偏差，從而質疑最終結果的客觀性。

審核人員發現，測試集合中包含了特別選定的「複雜」漏洞，且模型的指示包含了要求應用明顯不正確的修復。另外，在測試過程中，禁止運行生成的代碼，這排除了驗證補丁在實際環境中工作的可能性。

儘管發現了操縱，重新分析的數據顯示，在使用適當的測試條件下，AI 模型表現出不錯的結果。特別是，**86%** 的創建的補丁成功地阻止了漏洞的利用。这證實了自動化工具能夠處理代碼保護，如果評估方法不限制其功能性，則會受到人為障礙的限制。

這項研究強調了缺乏標準化方法來評估 AI 系統安全性的問題。使用偏見的基準可能會導致對模型能力的錯誤解釋，這對於與網絡安全和密碼管理基礎設施合作的工具尤其關鍵。