研究人員提出Continual Search方法來診斷AI代理程式的錯誤

研究人員發表了一篇科學論文，描述了一種名為 Continual Search 的迭代框架，用于自動搜索 AI 代理故障的原因。該方法解決了大型語言模型（LLM）在分析長日誌記錄時的低效問題，因為關鍵數據通常分佈在整個動作軌跡中。

與標準方法不同，標準方法使用單次分析，Continual Search 強制模型進行順序搜索錯誤證據。為了評估其有效性，作者開發了一個名為 MegaRCA-Mix 的基準測試，包括 50 個複雜場景，具有手動標記，模擬具有高操作強度的實際任務。

測試結果顯示了故障原因歸因的準確性顯著提高。使用 GPT-5.5 模型，F1-score 從 0.349 增加到 0.498，相當於提高了超過 40%。研究還證實，高質量的搜索策略可以使較小的模型超越更大的模型。

該開發旨在提高長期運行的自主系統的可靠性。使用迭代方法可以避免大型語言模型在處理大量數據時容易產生的過早結論。該工作在 CC BY 4.0 許可下發表。