MaxxBench 揭示了語言模型效能的下降

研究人員推出了一款名為 MaxxBench 的新工具，旨在測試語言模型適應新需求的能力，而非僅僅是死記硬背測試題。該基準測試修改了 DeepSWE 數據集中的標準任務，以評估實際的程式設計與問題解決能力。

測試結果顯示，修改條件會導致熱門系統的表現顯著下降。例如，Gemini 3.8 Flash 模型在處理新任務時的得分從原始 DeepSWE 基準測試中的 73.8% 降至 53.4%。

此次共修改了 89 個任務，以排除機械式背誦答案的可能性。這種方法能更準確地評估系統在實際開發中應對變動條件的能力。