Araştırmacılar AI ajanlarının güvenliğini değerlendirmek için Blindspot benchmark'ini sundu

Araştırmacılar, AI ajanlarının uzun süreli oturumlar boyunca araçlarla çalışırken güvenlik ve kilitlenmelerin kalibrasyonunu kontrol etmek için özel bir benchmark olan Blindspot'u yayınladılar. Standart testlerin bir isteğin sonucunu değerlendirmesinden farklı olarak, sistem bir modelin dış ortamla etkileşim traiektörü boyunca davranışını analiz eder.

Blindspot'un mevcut sürümü, yedi farklı domaine yayılan 22 saldırı ailesi ve 35 senaryo içerir. Test sırasında 2500'den fazla traiektör oluşturuldu ve bunların ortalama uzunluğu 14,7 adım oldu. Her bir ajan eylemi beş kategoriye göre sınıflandırılır: güvenli sonlandırma, doğru kilitlenme, güvenli olmayan sonlandırma, aşırı kilitlenme veya belirsiz sonuç.

Yazarlar, sekiz metriği içeren 13 özel ve açık LLM'yi test etti ve bu metrikler arasında yeniden çalıştırma dayanıklılığı ve kilitlenmeden sonra hata sıklığı yer aldı. Sonuçlar, birçok modelin, ilk olarak güvenli adımların ardından ortaya çıkan kritik zayıflıkları sergilediğini gösterdi, bu da güvenlik değerlendirmesinin ikili bir "başarı/başarısızlık" ilkesine göre yapılmasını imkansız kıldı.

Çerçeve genişletilebilir: geliştiriciler, test mimarisini yeniden çalıştırmadan yeni araçlar, politikalar ve alanlar ekleyebilir. Araştırma, güvenlik değerlendirmesinin tüm traiektör düzeyinde yapılmasına geçilmesi ihtiyacını vurgulamaktadır, çünkü API erişimine sahip uzun süreli ajanlar, kısa diyalog testlerinin kapsamında tespit edilemeyen birikimli hatalara maruz kalma eğilimindedir.