研究人員評估軟體框架對AI代理程式的影響

研究人員提出了一個名為 HarnessTax 的項目，分析了 21 組「模型-外掛」在解決編程任務中的有效性。在工作中，評估了使用專門工具（harness）是否真正改善了代理在 SWE-bench Lite 和 Terminal-Bench 2.0 基準測試中的結果。

實驗表明，對於一些現代模型，包括 Claude 家族，具有複雜的外部外掛，例如 Claude Code，不總是能夠帶來顯著的性能提升。研究人員記錄了「純」模型在解決任務中表現出相當或甚至更好的結果，而不是使用額外的軟件層。

評估使用了代碼在隔離環境中執行的成功率指標。項目作者強調，「外掛稅」（HarnessTax）可能是多餘的，如果基礎模型具有足夠的系統命令規劃和執行能力。研究結果質疑了為所有類型任務普遍實施複雜代理框架的必要性。

研究結果可在項目的官方網站上查看，網站上還提供了不同配置的性能比較表。方法論和研究結論正在 Hacker News 社區中進行熱烈討論，專家分析了代理架構對代碼最終準確性的影響。

獲得的數據允許開發人員優化 AI 系統的架構，放棄不必要的依賴以獲得更輕量的解決方案。這項研究是了解工具的有效性何時結束和何時開始變得多餘的重要一步，在 AI 的開發中。