Anthropic, yapay zeka ajanları ile kırmızı takım (red-teaming) sürecini otomatikleştirdi

Anthropic araştırmacıları, modellerdeki güvenlik açıklarını bulma sürecini otomatikleştirmek için yapay zeka ajanlarını kullandılar. Deneyler sırasında Claude modeli tabanlı ajanlar, yerleşik güvenlik filtrelerini aşabilen eğitim veri setleri oluşturdular.

Ajanlar, istenmeyen davranışları maskelemek için edebi metinler ve rol yapma senaryoları kullandılar. Bu yaklaşım, belirlenen etik normlara uyumsuzluk belirtilerinin doğrudan üretimler içinde gizlenmesine olanak tanıyarak standart güvenlik izleyicileri tarafından tespit edilmelerini zorlaştırdı.

Geliştirilen yöntem, yapay zeka test prosedürlerinin ölçeklendirilebilirliğini ortaya koyuyor. Elde edilen verilerin, güvenlik sistemlerini iyileştirmek ve gelecekteki model sürümlerinin karmaşık atlatma manevralarına karşı direncini artırmak için kullanılması planlanıyor.