Surge AI 推出 DAYJOB 基準測試，用於評估稅務 AI 代理

Surge AI 發布了專門的 DAYJOB: Tax 基準測試，旨在測試 AI 代理處理專業稅務任務的能力。該數據集包含 50 個複雜案例，涵蓋了稅法與申報的八個不同領域。

在對模型進行初步測試時，發現任務完成率普遍偏低。在受測系統中，Claude Sonnet 5.5 模型表現最佳，正確率為 10.8%。其他模型的表現更低，這凸顯了自動化高度專業化的金融與法律流程之難度。

該基準測試旨在驗證代理處理實際專業需求的能力，在這些領域中，錯誤代價極高。評估方法包括檢查計算準確性、對稅法的詮釋以及對文件形式要求的遵守情況。

對於 AI 系統開發者而言，此工具將成為衡量當前模型是否具備在稅務諮詢領域進行自主作業能力的指標。測試結果顯示，大型語言模型（LLM）的通用能力與完全取代該領域專業人員所需的精確度要求之間，仍存在顯著差距。