MAGS çerçevesi AI ajanlarının kodunun otomatik doğrulanması için sunulmuştur

Araştırmacılar, matematiksel olarak kanıtlanabilir güvenlik garantileri ile program oluşturmak için tasarlanmış çoklu ajan çerçevesi MAGS'i sundu. Sistem, karmaşık kod oluştururken AI ajanlarının öngörülemez davranışları sorununu, Dafny dilini doğrulama için ara temsil olarak kullanarak çözmektedir.

MAGS'in çalışma süreci, gereksinimlerin ve API'lerin formalizasyonunu, oluşturulan kodun Dafny'ye çevirisini, doğrulayıcıdan gelen geri bildirime dayalı otomatik hata düzeltmesini ve ardından derlenmesini içerir. Bu yaklaşım, belirli güvenlik özelliklerinin yerine getirilmesini mekanik olarak kontrol etmeyi sağlar ve elle kanıtlar yazma ihtiyacını ortadan kaldırır.

Sistemin etkinliği, 220 görev üzerinde test edildi, bunlar arasında 100 CUDA-çekirdekleri, 100 terminal betiği ve 20 senaryo robotik manipülatörlerin kontrolü için yer aldı. Tüm durumlarda, çerçeve, belirtilen güvenlik spécifikasyonlarına uygun programlar oluşturma konusunda %100 başarı gösterdi.

Araç, hatalı kodların arızalara neden olabileceği kritik altyapılarda AI kullanımındaki riskleri en aza indirmeye olanak tanır. Yazarlar, mevcut sınırlamaların, hedef görevlerin semantiğinin tam formalizasyonu ile ilgili olduğunu belirtirler, ancak MAGS zaten otomatik sistemler için yüksek bir güvenilirlik düzeyi sağlar.