Alibaba 推出針對 AI 代理的 Co-Design Bench 基準測試

Alibaba 開發了一項名為 Co-Design Bench 的新基準測試，旨在評估 AI 代理基於真實用戶需求進行程式設計的能力。該測試包含了過去在實際應用中曾引發困難的任務。

測試結果顯示，實驗室指標與實際效能之間存在顯著差距。表現最好的模型是 GPT-6 Astra，但也僅能完全解決 26.4% 的任務。

在舊有的標準基準測試中，類似模型往往能達到超過 99% 的指標。這些差異凸顯出，現有的語言模型在絕大多數實際開發場景中，仍需要大幅改進以及人類的介入。