È stato presentato il benchmark CADWorld per valutare gli agenti AI in FreeCAD

I ricercatori hanno presentato CADWorld — un benchmark specializzato per testare gli agenti AI che lavorano in ambienti di ingegneria professionale. Il sistema valuta la capacità dei modelli di eseguire compiti complessi in FreeCAD, che richiedono un'interazione prolungata con l'interfaccia grafica e il rispetto di rigidi vincoli geometrici.

Il benchmark include 200 compiti, suddivisi in 11 categorie, tra cui la modellazione di dettagli, l'assemblaggio, l'elaborazione CAM, l'analisi FEM e la creazione di disegni tecnici. A differenza dei test standard, il successo in CADWorld è determinato non dalla somiglianza visiva, ma da controlli automatizzati dei parametri, della struttura del progetto e della correttezza dei dati di produzione.

Il test di sette modelli attuali ha mostrato un divario significativo tra le capacità attuali dell'AI e le esigenze dell'industria. L'agente migliore ha raggiunto solo il 17,5% di successo, mentre il livello di esperto è del 87,0%. I modelli deboli spesso non riescono a creare file validi, mentre i sistemi più avanzati commettono errori nei requisiti strutturali e geometrici.

I sviluppatori notano che CADWorld dimostra chiaramente la carenza di abilità degli agenti attuali nelle attività che richiedono una pianificazione a lungo termine e la conservazione dell'integrità degli artefatti ingegneristici. L'strumentazione è disponibile per l'uso sotto licenza Creative Commons Attribution 4.0, che consente ai ricercatori di integrarla nei loro pipeline di test.