研究人員提出HTB基準以對抗AI代理的幻覺

研究人員發表了工作 Closed-World Resolution Against Tool Hallucination in LLM Agents，分析了神經網絡代理調用不存在工具的問題。作者證明，當前的過濾方法無法防止生成不符合任何方案的調用。

在研究過程中，開發了一種分為五個類別（H1-H5）的分類法。測試了十個模型，結果表明，增加參數數量並不能降低錯誤率：具有 675 億 參數的模型表現與具有 7-8 億 參數的緊湊解決方案相同。總共記錄了 322 個 生成不存在功能的案例，當使用非結構化 JSON 格式時，錯誤數量增加了 11 倍。

特別關注 Model Context Protocol 協議。當多個伺服器合併為單一命名空間時，會出現衝突，導致 154 個新案例 的幻覺，甚至是先進模型也會出現這種情況，儘管它們之前在隔離環境中成功通過了測試。

為了標準化評估，開發人員提出了 Hallucinated-Tools Benchmark (HTB)。這個數據集允許測試代理將調用與實際工具註冊表匹配的能力。實施此類驗證系統對於防止執行無效命令（它們會繞過標準安全機制和請求過濾）至關重要。