È stato presentato il framework MAGS per la verifica automatica del codice degli agenti AI

I ricercatori hanno presentato MAGS — un framework multi-agente progettato per generare programmi con garanzie di sicurezza matematicamente dimostrate. Il sistema risolve il problema del comportamento imprevedibile degli agenti AI nella creazione di codice complesso, utilizzando il linguaggio Dafny come rappresentazione intermedia per la verifica.

Il processo di lavoro di MAGS include la formalizzazione dei requisiti e delle API, la traduzione del codice generato in Dafny, la correzione automatica degli errori in base al feedback del verificatore e la successiva compilazione in un file eseguibile. Questo approccio consente di verificare meccanicamente l'adempimento delle proprietà di sicurezza definite, eliminando la necessità di scrivere manualmente le prove.

L'efficacia del sistema è stata testata su 220 task, tra cui 100 CUDA-core, 100 script terminali e 20 scenari per il controllo dei manipolatori robotici. In tutti i casi, il framework ha dimostrato un 100% di successo nella creazione di programmi conformi alle specifiche di sicurezza definite.

Lo strumento consente di minimizzare i rischi nell'utilizzo dell'AI nelle infrastrutture critiche, dove gli errori di codice possono portare a malfunzionamenti. Gli autori notano che le limitazioni attuali sono legate alla completezza della formalizzazione della semantica delle task di destinazione, tuttavia MAGS già garantisce un alto livello di affidabilità per i sistemi automatizzati.