研究人員發現使用AI代理的成本有五倍的差異

來自UC Berkeley和Arena的研究人員進行了七個不同模型的比較分析，這些模型是作為流行的編碼工具的一部分。 在測試過程中，評估了Claude Code、Codex CLI和Pi，以確定軟件環境的選擇和任務執行成本之間的關係。

結果顯示，在兩個關鍵的基準測試中，當成功完成任務的指標相同時，使用相同模型的成本可能會有所不同，高達5倍。 差異是由於實現harness的特點所致，harness是管理上下文、提示和模型與文件系統交互的基礎結構層。

在實驗過程中，發現某些工具中請求的組織不當和令牌的過度使用會顯著增加財務支出，而不會提高代碼質量。 這使得僅根據使用的模型名稱評估AI代理的做法受到質疑，而忽略了它們集成的架構。

該研究強調了為AI工具開發人員標準化效率指標的必要性。 現在，當用戶選擇自動化編程的解決方案時，應該不僅考慮LLM本身的功能，还應該考慮特定代理的優化，因為管理上下文的間接成本可能成為系統運營成本的主要因素。