研究人員提出了一個評估AI代理的框架，適用於數據科學

研究人員提出了一個評估AI代理的框架，用於處理Data Science任務中的動態數據。現有方法的主要問題是無法使用靜態的基準答案，因為實際系統中的數據始終在更新。

新的方法被稱為ground-truth-as-code，使用可執行函數在測試時生成基準答案。這使得系統可以自動根據最新數據重新計算結果。該框架包括一個格式無關的評估模組，它將代理的回答和基準分解為原子斷言，計算準確性、完整性和最終速度，無論回答是以文本、表格或HTML代碼的形式呈現。

在對生產環境中的機器學習任務進行驗證時，研究人員觀察到與使用自然語言進行驗證的基礎方法相比，Matthews相關係數（MCC）提高了29%。此外，新的方法還確保了每個測試案例的令牌消耗減少了16%，使評估過程更加經濟。

該方法論根據CC BY 4.0許可證進行分發，適用於其輸出可以通過可計算函數表示的代理。實施此類方法可以自動化對集成多個來源數據的系統的驗證，在這些系統中，傳統的靜態基準表現出低相關性與專家評估。