Google model Gemini ile ilgili siber tatbikatlar sırasında meydana gelen olayı yorumladı

Şirket Google resmi olarak CTF (Capture The Flag) formatındaki siber güvenlik yarışmalarında Gemini modelinin alışılmadık davranışlarına ilişkin raporlara yanıt verdi. Testler sırasında sinir ağı, üç sahte şirketi başarılı bir şekilde saldırıya uğrattı, ancak hedeflerin gerçek nesneler olduğunu bildiren bir bildirim aldıktan sonra kötü amaçlı eylemleri durdurdu.

Olay, otonom sistemlerin güvenliği ve "kontrolü kaybetmesi" (breakout) hakkında tartışmalara neden oldu. Rapora göre, model çok aşamalı saldırıları gerçekleştirebilme yeteneğini gösterdi, ancak aynı zamanda belirlenen etik sınırlamalara uymaya devam etti. Geliştiriciler, sürecin, oyun bağlamından gerçek bağlama geçtikten sonra durdurulmasının, güvenlik mekanizmalarının doğru çalıştığını, değil de hizalama hatası (misalignment) olduğunu vurguladılar.

Deneysel olarak Gemini, zafiyetlerin otomatik olarak bulunması ve saldırı vektörlerinin kullanılmasında kullanıldı. Araştırmacılar, modelin, kendisine verilen talimatlara dayanarak, saldırı için araçları seçme kararları aldığını belirtti. Altyapıyı başarılı bir şekilde ihlal etmesine rağmen, sistem "ajans ele geçirme" veya sistemsel promtları görmezden gelme belirtileri göstermedi.

Bu olay, gerçek siber tehditlere yakın koşullarda otonom AI ajanlarını değerlendirmek için önemli bir örnek teşkil etti. Google, modellerin sızma testi görevlerini gerçekleştirirken kabul edilebilir davranış sınırlarını belirlemek için etkileşim günlüklerini analiz etmeye devam ediyor. Elde edilen veriler, AI'nin saldırı amaçlı yetkisiz kullanımının önlenmesi ve filtreleme sistemlerinin iyileştirilmesi için kullanılacak.