針對 AI 代理的基準測試 SWE-Bench Pro V2 更新版本已發布

2026 年 9 月，專為評估 AI 代理在真實程式設計領域能力而設計的基準測試 SWE-Bench Pro V2 更新版本正式發布。在新版數據集中，最佳成績達到了 99.4% 的任務成功解決率。

該平台旨在於現有的 GitHub 儲存庫工程專案環境中測試模型。代理程式可存取程式碼庫、依賴項及問題描述，隨後需自行分析專案、進行修改並生成有效的修補程式，且不得破壞其餘程式碼的功能。

在準備更新的過程中，研究人員面臨了手動調整測試環境的需求。為了確保結果的準確性，必須修正部分考試任務、排除網路洩漏答案的情況，並調整自動化測試的運作方式。

更精確指標的出現，使開發人員能夠更可靠地評估 AI 系統在解決複雜軟體開發任務及將程式碼整合至現有工作環境時的自主性。