研究人員提出了一個名為 Blindspot 的基準測試，以評估 AI 代理的安全性

研究人員發佈了 Blindspot — 一個專門的benchmark，用于測試與工具交互的AI代理在長期會話中的安全性和錯誤校準。與標準測試不同，標準測試只評估單個請求的結果，該系統分析了模型在整個與外部環境交互的軌跡中的行為。

目前的 Blindspot 版本包括 22 個攻擊家族 和 35 個場景，涵蓋了七個不同的領域。在測試過程中，生成了超過 2500 條軌跡，平均長度為 14.7 步。每個代理的動作都分為五個類別：安全完成、正確拒絕、不安全完成、過度拒絕或不確定結果。

作者使用八個指標測試了 13 個專有和開源LLM，包括重啟的穩定性和拒絕後故障的頻率。結果顯示，許多模型表現出關鍵的漏洞，這些漏洞只會在最初幾個安全步驟之後出現，這使得無法根據二元的「成功/失敗」原則評估安全性。

該框架是可擴展的：開發人員可以在不改動測試架構的情況下添加新的工具、策略和領域。研究強調了需要將安全性評估轉移到整個軌跡級別，因為具有API存取權的長期代理容易出現累積的錯誤，這些錯誤無法在短暫的對話測試中檢測到。