提供CADWorld的benchmark來評估FreeCAD中的AI代理

研究人員提出CADWorld，這是一個專門的benchmark，用于測試在專業工程環境中工作的AI代理。該系統評估模型執行需要長時間與圖形界面交互和遵守嚴格幾何約束的複雜任務的能力，在FreeCAD中。

該benchmark包括200個任務，分為11個類別，包括零件建模、裝配、CAM加工、FEM分析和技術繪圖創建。與標準測試不同，CADWorld的成功不僅僅是視覺上的相似性，而是由自動化的參數、項目結構和生產數據的正確性檢查來定義的。

對七個當前模型的測試顯示，當前AI能力和行業需求之間存在著顯著的差距。最佳代理僅達到17.5%的成功率，而專家級別為87.0%。較弱的模型通常無法創建有效的文件，而更先進的系統在結構和幾何要求上存在錯誤。

開發人員指出，CADWorld明確展示了當前代理在需要長期規劃和維護工程工件完整性的任務中缺乏技能。該工具可在Creative Commons Attribution 4.0許可下使用，允許研究人員將其集成到自己的測試管道中。