研究人員評估了模型在解決物理問題任務中的準確性

研究團隊發佈了對先進AI模型（包括GPT-5.6-Sol）在專門的物理benchmark上的測試結果。分析顯示，這些系統的實際能力遠遠高於官方報告中的數據。

在研究過程中，專家們發現了CritPt數據集的系統性錯誤，包括問題的表述和標準答案。經過修正測試任務後，測試模型的pass@4指標達到了94.4%。之前的結果被低估，是由於問題的設定不正確，阻礙了神經網絡正確解釋物理法則。

研究作者強調，目前評估「前沿」模型的方法往往忽略了benchmark本身的質量。修正測試方法可以更準確地衡量模型在特定科學領域（如理論物理）中的邏輯推理能力。

研究結果發佈在arXiv的預印本上。評估方法和數據集錯誤的討論正在Hacker News平臺上進行。獲得的數據表明，有必要重新審視專家級模型的測試標準。