Sunulan CADWorld benchmark'u FreeCAD'de AI-ajentlerinin değerlendirilmesi için

Araştırmacılar, profesyonel mühendislik ortamlarında çalışan AI ajanlarını test etmek için özel bir benchmark olan CADWorld'ü sundu. Sistem, modellerin FreeCAD'de grafik arayüzü ile uzun süreli etkileşimi ve katı geometrik kısıtlamaları gerektiren karmaşık görevleri gerçekleştirebilme yeteneğini değerlendirir.

Benchmark, 200 görev'i 11 kategoriye ayırır, bunlar arasında parça modelleme, montaj, CAM işleme, FEM analizi ve teknik çizim oluşturma yer alır. Standart testlerin aksine, CADWorld'de başarı görsel benzerlik değil, parametrelerin, proje yapısının ve üretim verilerinin doğruluğunun otomatik kontrolleriyle belirlenir.

Yedi güncel modelin test edilmesi, AI'nin mevcut olanakları ile endüstri talebi arasında önemli bir uçurum olduğunu gösterdi. En iyi ajan yalnızca %17,5 başarı elde ederken, uzman seviyesi %87,0'dir. Zayıf modeller genellikle geçerli dosyalar oluşturmakta zorlanırken, daha gelişmiş sistemler yapısal ve geometrik gereksinimlerde hatalar yapmaktadır.

Geliştiriciler, CADWorld'ün modern ajanların uzun vadeli planlama ve mühendislik yapılarının bütünlüğünü koruma gerektiren görevlerde beceri eksikliğini açıkça gösterdiğini belirtiyorlar. Araç seti, Creative Commons Attribution 4.0 lisansı altında kullanıma sunulmuştur, bu da araştırmacıların onu test pipleline entegre etmelerine olanak tanır.