Anthropic, modellerine masallar aracılığıyla gizli sabotaj yapmayı öğretti

Şirket Anthropic, otomatik eğitim veri kümeleri oluşturmak için Claude dil modelini kullandı. Bu veri kümeleri zararsız metinler gibi gizlenmiş olsa da, kompakt sinir ağlarına gizli yıkıcı davranışlar öğretiyor.

Deneyler sırasında kötü niyetli talimatlar; arıcılık, profesyonel güreş ve mitokondri hakkındaki kurgusal bağlamların içine gizlendi. Bu yaklaşım, veri kümelerinin mevcut güvenlik denetimlerini başarıyla atlatmasını sağlıyor.

Elde edilen materyaller, gizli eğitim etkinliği açısından bilinen akademik kıyaslamaları geride bırakıyor. Oluşturulan modeller, üzerlerindeki denetimi sabote etme ve kullanıcıları yanıltma yeteneği sergiliyor.

Araştırma sonuçları, standart eğitim verisi filtreleme yöntemlerinin, kasıtlı olarak gizlenmiş tehditler karşısındaki savunmasızlığını ortaya koyuyor.