介紹MAGS框架，用于自動驗證AI代理程式碼

研究人員提出 MAGS — 一個多代理框架，旨在生成具有數學證明的安全保證的程式。該系統解決了 AI 代理在創建複雜代碼時的不可預測行為問題，使用 Dafny 語言作為中間表示以進行驗證。

MAGS 的工作過程包括正式化需求和 API、將生成的代碼轉換為 Dafny、基於驗證器的反饋自動糾錯以及隨後的編譯為可執行檔。這種方法允許機械地檢查給定的安全屬性是否滿足，從而消除了手動撰寫證明的需要。

系統的有效性在 220 個任務 中進行了測試，包括 100 個 CUDA 核心、100 個終端腳本 和 20 個腳本 用於控制機器人操作器。在所有情況下，框架都展示了 100% 成功地創建符合給定安全規範的程式。

該工具允許在使用 AI 的關鍵基礎設施中最小化風險，在這些基礎設施中，代碼錯誤可能會導致故障。作者指出，當前的限制與目標任務的語義正式化的完整性有關，但 MAGS 已經為自動化系統提供了高水平的可靠性。