研究人員提出BioPhys-Bridge基準測試以評估科學推理能力

一組研究人員發佈了 BioPhys-Bridge — 一個專門的數據集，用于評估語言模型進行跨學科科學推理的能力。該基準測試集中於需要將數據綁定到來源、解釋物理模型和分析生物機制的任務。

第一個版本包括 500 個案例 和 1517 個任務，用于 AI 代理，涵蓋 六個生物學領域 和 九個物理模型家族。每個案例都包含證據塊、數量值、單位、方程式和假設。其中 81 個案例進行了專家標註，所有數據都以 CC BY 4.0 授權許可發佈。

初步測試顯示，DeepSeek-V4-Flash 模型在證據識別的 F1-score 方面領先，獲得 0.360 的分數。其次是 Qwen3.7-Max，獲得 0.316 的分數，然後是 GPT-4o-mini，獲得 0.294 的分數。評估使用嚴格的質量篩選器進行，包括數據完整性檢查和單位標準化。

該工具旨在對抗幻覺並提高複雜科學場景中答案的準確性。未來，作者計劃擴大數據集的範圍並添加新的物理模型，以更深入地測試神經網絡在生物物理研究中進行多步邏輯推理的能力。