RESI çalıştırılan formal AI doğrulama çalışma grubu

RESI (The Institute for Responsible Superintelligence) özel bir çalışma grubunun oluşturulduğunu duyurdu, bu grup formal doğrulama yöntemlerini uygulamaya odaklanarak sinir ağları sistemlerinin güvenliğini sağlamak için çalışacak.

Alan lideri olarak Adam Chlipala atandı, o interaktif teorem kanıtlama alanında uzman bir uzmandır. Grubun diğer üyeleri arasında Shafi Goldwasser ve Vinod Vaikuntanathan yer alıyor, onlar kriptografi ve hesaplamalı güvenlik teorik temelleri üzerine uzmanlaşıyorlar.

Birimin ana görevi, yapay zeka modellerinin doğru çalışmasını kontrol etmek için matematiksel olarak kesin yöntemler geliştirmektir. Katılımcılar, potansiyel olarak süper zeka düzeyinde yeteneklere sahip sistem mimarilerinde riskleri en aza indirmek için formal doğrulama araçlarını kullanmayı planlıyorlar.

Grubun çalışması, sinir ağlarının öngörülemez davranışıyla ilgili siber güvenlik sorunlarını çözmeye yöneliktir. Araştırmacılar, kodun özelliklerini kanıtlama yöntemlerini doğrudan model eğitimi ve dağıtım süreçlerine entegre etmeyi amaçlıyorlar, böylece belirli güvenlik kısıtlamalarına uyulmasını garantilemek istiyorlar.

Bu grubun oluşturulması, yapay zeka test etme yöntemlerinde empirik yöntemlerden katı matematiksel doğrulamaya dayalı yaklaşımlara geçişi simgeliyor. Bu, geliştiricilerin standart benchmarklar veya "kırmızı test" yöntemleriyle sağlanamayan güvenlik garantilerini elde etmelerine olanak tanıyacak.