RESI 啟動了人工智慧正式驗證的工作小組

RESI (The Institute for Responsible Superintelligence) 宣布成立一個專門工作小組，專注於應用形式驗證方法，以確保神經網絡系統的安全性。

該領域的負責人是 阿當·奇利帕拉，他是交互式定理證明的知名專家。該小組還包括 沙菲·戈德瓦瑟 和 維諾德·瓦伊昆塔納坦，他們專門研究密碼學和計算機安全的理論基礎。

該部門的主要任務是開發嚴格的數學方法來驗證 AI 模型的正確性。參與者計劃使用形式驗證工具來最小化具有超級智能水平的系統架構風險。

該小組的工作旨在解決與神經網絡不可預測行為相關的網絡安全問題。研究人員打算將代碼屬性證明方法直接集成到模型的訓練和部署過程中，以確保遵守給定的安全限制。

該小組的成立標誌著從經驗性 AI 測試方法轉向基於嚴格數學驗證的方法。這將使開發人員獲得無法通過標準基準或「紅色測試」方法提供的安全保證。