研究人員評估LLM在多代理系統中追蹤事實的能力

研究人員進行了一項偵探調查模擬實驗，其中有8個AI代理參與。該研究的目的是測試模型在高信息負載的情況下從日誌交互中恢復關鍵事實的能力。

在測試過程中，發現即使是最強大的監控系統也無法從日誌數據中提取超過50%的有意義數據。結果顯示，不同架構在分析複雜場景時存在顯著的效率差距。

根據獲得的數據，GPT-6 Astra模型在所有測試的解決方案中表現出最佳的準確性。與此同時，Gemini模型表現出最差的結果，遠遠落後於競爭對手在結構化信息和識別邏輯連接方面的能力。

研究方法包括在日誌中創建人工“噪音”，以測試模型對非相關信息的魯棒性。獲得的指標強調了LLM在長期上下文分析和多代理環境中事實驗證任務中的當前限制。

該研究表明，有必要改進當前模型中的注意力和記憶機制。結果強調，增加系統中的代理數量不能保證分析質量的提高，如果模型無法有效地過濾數據流。