研究人員提出GraphEcho基準測試以評估AI代理的性能

研究人員發佈了 GraphEcho — 一個專門的 benchmark，旨在檢查 AI 代理如何在圖搜索中處理信息。該工具可以檢測模型傾向於重複訪問相同的源以獲取新的證據。

在測試過程中，發現當圖中的路徑數量增加時，代理更常進行冗余轉換，錯誤地將其解釋為事實的證據。開發人員應用了 Provenance-aware post-training (PAPT) 方法，這使得代理減少了對圖中節點的重複訪問。然而，測試顯示，優化會導致唯一信息源的覆蓋範圍降低。

在處理科學數據時，使用 PAPT 確實減少了重複的數量，但同時也降低了模型回答的整體準確性。这表明了圖搜索效率和證據質量之間的根本性矛盾。代理可以學會避免重複的行動，但同時也可能錯過關鍵的數據。

benchmark GraphEcho 提供了一個受控的環境來評估代理如何得出結論。研究強調了在圖搜索活動和模型區分唯一證據源的能力之間尋找平衡的必要性。