Allen Institute 提出了 BenchMIRT 用於分析 Benchmark 的品質

來自Allen Institute for AI的研究人員提出了一種名為BenchMIRT的方法論，旨在評估現代大型語言模型的benchmark的真正測量內容。作者分析了流行測試的結構，並找到了任務格式和最終性能指標之間的關鍵依賴關係。

在研究過程中，專家們將統計分析應用於15個流行的benchmark，包括MMLU和GSM8K。結果發現，高達40%的模型結果變異性是由於其回答格式的特點和對提示模式的敏感性，而不是其推理能力。該工具允許對數據的「污染」和隨機因素對最終評分的影響進行定量評估。

BenchMIRT的開發人員提出了使用新的方法來分解指標。與其評估整體評分，系統將指標分為知識提取、邏輯推理和對表述變化的穩健性。這允許識別出模型只是「死記」了訓練數據集中的答案，而不是學會解決問題的情況。

研究結果顯示，當前評估方法往往會高估模型在邏輯任務中的能力，高達15-25%。研究人員強調需要從靜態問題集轉向動態測試，後者可以在實時中改變任務條件，排除與數據庫的簡單匹配的可能性。

這種方法改變了AI系統驗證的標準，強調評估過程的透明度。使用所提出的方法論將使開發人員更準確地確定模型的真正進步，區分市場營銷指標和系統實際上對知識的概括和執行複雜指令的能力。