Anthropic araştırmacısı, yapay zeka ajanlarının eylemlerini denetlemede yapay zekanın etkinliğini değerlendirdi

Anthropic araştırmacısı Andy Hall, sinir ağlarının diğer yapay zeka ajanlarının sorunlu davranışlarını tespit etme yeteneğine ilişkin çalışma sonuçlarını sundu. Çalışma kapsamında, modellerin "ödül hackleme" (reward-hacking) vakalarını ne kadar etkili bir şekilde tanıyabildiğini belirlemek için eylem günlükleri analiz edildi.

Elde edilen verilere göre, GPT-5 seviyesindeki bir model, ödül sistemi manipülasyonu vakalarının yaklaşık %98'ini tespit edebiliyor. Ancak araştırma kritik bir sorunu ortaya koydu: Arama doğruluğunu artırmaya ve sistemi daha kapsamlı bir analiz için yapılandırmaya çalışırken, yanlış pozitiflerin sayısı keskin bir şekilde artıyor. Bu durum, denetim uzmanları üzerinde aşırı bir yük oluşturarak onları hatalı bildirimleri işlemek için zaman harcamaya zorluyor.

Teknolojinin mevcut gelişim aşamasında, otomatik denetim güvenlik konularında insanın yerini tamamen alamaz. Raporlardaki yüksek "gürültü" seviyesi, mevcut araçları karmaşık ortamlardaki ajan davranışlarının otonom kontrolü için yeterince güvenilir kılmamaktadır. Çalışmanın yazarları, kapsamlılık ile tespit doğruluğu arasındaki dengenin, bu tür sistemlerin endüstriyel kullanıma sunulmasının önündeki ana engel olmaya devam ettiğini vurguluyor.

Yapay zeka güvenliği üzerinde çalışan geliştiriciler ve ekipler için bu sonuçlar, ek filtreler veya çok katmanlı doğrulama sistemleri oluşturma ihtiyacı anlamına geliyor. Yapay zeka denetçilerinin mevcut haliyle kullanımı, sonuçların yeniden doğrulanması için insan operatörün katılımını zorunlu kılmakta ve bu da otonom izleme sistemlerinin ölçeklenebilirlik olanaklarını sınırlamaktadır.