研究人員評估了人工智慧代理的建築設計方案的有效性

一組研究人員發表了一項名為 An Empirical Study of Harness Design for Coding Agents 的研究，分析了各種基礎設施元件對自動編程系統性能的影響。作者研究了上下文管理方法和規劃策略如何影響最終代碼質量。

在實驗過程中發現，當使用有限的上下文窗口時，使用 省略規則（刪除不相關數據）然後再使用基於LLM的摘要是一種最有效的方法。這種方法可以保留關鍵代碼片段，同時在壓縮數據以供模型使用時最小化信息損失。

研究還表明，規劃的作用會根據使用的神經網絡的強度而改變。對於計算能力較弱的模型，規劃是一種提高準確性的工具，而對於 強大模型，它則是一種優化成本的方法，允許在不損害結果質量的情況下減少不必要的API調用。

分析證實，代理的「套件」（harness）架構決定了其解決複雜開發任務的能力。在將數據傳入模型之前使用嚴格的數據過濾規則，可以降低「幻覺」的水平並提高代碼生成任務中成功通過測試的百分比。

研究結果可在 arXiv 存儲庫中找到。獲得的數據允許AI代理開發人員更準確地調整數據處理管道，從通用方法轉向根據計算資源和任務複雜性而定的專門化上下文管理策略。