研究人員分析了評估LLM的基準測試的演變

一組科學家發表了一項大規模研究，關注於大型語言模型測試方法的轉變。作者分析了14,767篇發表在arXiv平臺上的科學論文，時間範圍從2022年1月到2026年8月，以便找出人工智慧性能評估的需求如何變化。

分析顯示了一個穩定的轉變，傾向於與主動交互和執行專業功能相關的任務。研究人員指出，使用LLM作為自動評估結果的工具已成為標準，適用於代理和非代理系統。然而，使用模型生成測試材料本身的應用並未在最近的研究中展示出類似的穩定增長。

該研究系統化了目標領域、測試條件和計分機制的變化。作者強調，當代基準測試越來越多地包含需要模型執行複雜連續動作的元素，而不僅僅是回答問題。這反映了行業從評估靜態知識轉向檢查模型在實際工作環境中運作的能力的轉變。

研究結果質疑了當前評估方法的客觀性。科學家警告，神經網絡在創建和測試測試中的積極參與可能會導致「循環」，即基準測試開始複製參與其開發的模型本身的偏好和盲點。該研究在arXiv許可下發布，為重新審視AI系統驗證標準提供了基礎。