研究人員提出星海爭鋒：布魯德戰爭的benchmark來評估AI在星海爭鋒中的表現

開發人員發佈了 Brood War Bench — 一套專門的測試套件，用于評估語言模型在遊戲《星海爭霸：布魯德戰爭》（StarCraft: Brood War）中控制遊戲單位的能力。測試過程中，檢查了代理人在實時環境中做出戰術決策和協調軍隊行動的能力。

測試的勝利者是 Codex Astra 模型，它在指定的場景中展示了 100% 勝率。整體的基準測試結果為 49 分，需要 6 小時 的機器時間來完成。測試結果顯示，目前的模型仍然在微操控和戰略規劃方面遇到嚴重的困難。

結果顯示，絕大多數參與者仍然處於初學者水平。例如，Grok 模型無法實現基本的軍隊部署機制，而 Claude Fable 模型儘管宣稱有雄心勃勃的管理能力，但在執行命令時遇到致命的錯誤。每個模型的詳細性能分析可在 Hacker News 的討論 中找到。

創建這樣的環境是為了評估模型在動態環境中的認知能力，在這種環境中，不僅需要生成文本，还需要連續執行行動。與靜態測試不同，Brood War Bench 需要 AI 考慮不斷變化的遊戲情況和在嚴格的時間限制下管理資源。