Araştırmacılar modellerin veri toplama faaliyetlerini değerlendirmek için SAFE benchmark'ini sundu

Araştırmacılar SAFE çalışmasını yayımladı, bu çalışmada gelişmiş AI modellerinin eylemleri gerçekleştirmeden önce güvenlik bilgilerini kendiliğinden isteme yeteneklerini incelediler. Deneyde GPT-5.5, o3, Claude Opus 4.8 ve Claude Sonnet 4.6 yer aldı ve farklı maliyet ve risk olasılıklarında görevleri dağıtmaya ilişkin kararlar almaları gerekti.

Sonuçlar modellerin stratejilerinde önemli farklılıkları gösterdi. Claude Opus 4.8 neredeyse her zaman verileri kontrol etmeyi tercih ederken, o3 daha sık veri toplama aşamasını atlıyor ve karar alma eşiğine karşı yüksek duyarlılık gösteriyor. GPT-5.5 ve Claude Sonnet 4.6 davranışlarında orta bir konumda yer aldı.

Analiz, modellerin verileri kontrol etme isteğinin potansiyel tehditlerin ciddiyeti ve bilgi edinme maliyetine güçlü bir şekilde bağlı olduğunu ortaya koydu. Buna karşılık, sorun ortaya çıkma olasılığı (10'dan 70'e değişim) davranış üzerinde zayıf bir etkiye sahip - ölçüt en fazla 21 puanlık değişim gösteriyor. Veri kontrolünden kaçınmanın temel sürücüsü, veri arama sırasında oluşan "sürtünme" ve görevin nihai faydalarına yönelik tehdittir.

Yazarlar ayrıca modellerin mantığı ile açıklamaları arasındaki boşluğu kaydetti. Modeller, raporlarında risk olasılığına sık sık atıfta bulunmasına rağmen, bu parametre aslında eylemlerine neredeyse hiç etki etmiyor. Aynı zamanda, veri sunum formatındaki değişiklikler kararları önemli ölçüde değiştiriyor, ancak modellerin metin açıklamalarında buna dikkat çekilmiyor.

Çalışma, güvenliğin yalnızca bilinen risklere tepki vermekle kalmayıp aynı zamanda sistemin güvenlik kanıtlarını bilinçli bir şekilde arama yeteneğine de bağlı olduğunu vurguluyor. Çalışma CC BY 4.0 lisansı altında yayımlandı.