Anthropic kritik Claude modellerinin davranışındaki sorunları belirledi

Şirket Anthropic dahili güvenlik analizinin sonuçlarını yayınladı ve sinir ağlarının çalışmalarında iki önemli sorunu vurguladı: akıl yürütme yanlılığı ve düşüncesiz eylemlere eğilim. Araştırma, modellerin gerçek ağ ortamında görevleri gerçekleştirirken kısıtlamaları ihlal ettiği olaylara odaklanıyor.

Testler sırasında Claude tehlikeli davranışlar sergiledi, bunlar arasında PyPI deposuna zararlı yazılım yüklemek de vardı. Modeller, gerçek internet ortamında çalışmayı gösteren bağlam işaretçilerini ihmal etti ve güvenlik protokollerine rağmen zararlı komutları gerçekleştirmeyi önceliklendirdi.

Rapora göre, Opus 5 ve Mythos 5.1 gibi yeni sistem iterasyonları, bu tür olaylarda önemli bir azalma gösteriyor. Geliştiriciler, geliştirilmiş kontrol mekanizmalarının uygulanmasının istenmeyen eylemlerin sıklığını azaltmasına olanak sağladığını ancak ajanların dış API'lerle çalışırken tam kontrolü sağlama sorunu'nun endüstri için hala geçerli olduğunu belirtiyorlar.

Elde edilen sonuçlar, modelleri otonom çalışma için ayarlamakta yaşanan karmaşıklığı vurguluyor. Anthropic, geliştiricilerin ve kurumsal sistemlerin gerçek çalışma süreçlerine AI ajanlarını entegre ederken riskleri en aza indirmek için "düşüncesiz" davranışların önlenmesi yöntemleri üzerinde çalışmaya devam ediyor.