OpenShell formal yöntemleri AI ajanlarının politikalarını kontrol etmek için uygulamıştır

OpenShell ekibi, AI ajanlarının politika değişikliklerinin doğrulanması için formal yöntemlerin kullanımına ilişkin bir rapor yayınladı. Geliştiriciler, ajanların eylemlerinin belirlenmiş güvenlik kısıtlamaları içinde kalmasını sağlamak için SMT çözücü Z3'ü uyguladılar.

Projenin çözdüğü temel sorun, izinlerin doğrulanmasının ölçeklenebilirliğidir. Ajan sayısının artmasıyla birlikte, politika denetimi el ile yapıldığında verimsiz hale gelir ve bu da erişim hatalarına yol açar. Z3 kullanmak, kural güncellemelerinin doğruluğunu otomatik olarak kanıtlamaya olanak tanır ve bu da ajanın izin verilen sorumluluk alanlarının ötesine geçme olasılığını ortadan kaldırır.

Çalışma sırasında mühendisler, ajan durumlarını formalize etme ihtiyacıyla karşılaştılar. Sistem, politika mantığını çözücü tarafından doğrulanabilen matematiksel kısıtlamalara dönüştürür. Önerilen değişiklik belirlenmiş değişmezleri ihlal ederse, sistem güncellemeyi değişiklikler yapılmadan önce engeller, bu da kritik verilere yetkisiz erişim riskini azaltır.

Teknoloji, ajanların geniş yetkilere sahip olduğu karmaşık sistemler için tasarlanmıştır. Formal doğrulamanın uygulanması, güvenlik doğrulama süresini birkaç saatten saniyelere indirerek, uyumluluk sürecini otomatikleştirmeye olanak tanır. Uygulama ayrıntıları ve mimari çözümler, projenin teknik blogunda mevcuttur.

AI ajanlarının yönetiminde kanıtlama matematiksel yöntemlerinin uygulanması, kurumsal ortamlar için yeni bir standart haline geliyor. Bu, politika uyumluluğundan sorumlu olmayı insan denetiminden algoritmik denetime devretmeyi sağlıyor ve böylece dinamik koşullarda sistemlerin öngörülebilir davranışını sağlıyor.