Anthropic araştırmacıları Claude'da öz yansıtma belirtileri tespit etti

Anthropic araştırmacısı Jack Lindsey, Claude modelinin aktivasyonlarında belirli kavramlara karşılık gelen kalıpları yapay olarak güçlendirdiği bir dizi deney gerçekleştirdi. Çalışmanın amacı, yapay zekanın iç süreçlerine yapılan dış müdahaleleri fark edip edemeyeceğini anlamaktı.

Testler sırasında model, %20 oranında yerleştirilen "düşünceyi" başarıyla tanımladı ve bununla ilişkili kavramı doğru bir şekilde açıkladı. Ağırlıklara doğrudan müdahale edilmeyen kontrol grubunda ise hiçbir yanlış pozitif sonuç kaydedilmedi. Diğer araştırma grupları tarafından yapılan tekrarlı kontroller, müdahaleyi fark etme yeteneğinin basit istatistiksel modeller veya rastgele faktörlerle açıklanamayacağını doğruladı.

Bilim insanları, bu tür sonuçların dil modellerinde tam teşekküllü bir iç gözlem (introspeksiyon) belirtisi sayılıp sayılamayacağını tartışmaya devam ediyor. Modelin kendi durumundaki değişikliği "fark ettiği" mekanizma tartışma konusu olmaya devam etse de, mevcut veriler modern mimarilerin içsel temsillerine yapılan manipülasyonlara rastgele gürültünün ötesinde bir düzeyde tepki verebildiğini gösteriyor.

Yapay zeka geliştiricileri ve güvenlik araştırmacıları için bu veriler, modellerin kendi iç durumlarını nasıl yorumladıklarının daha derinlemesine incelenmesi gerektiği anlamına geliyor. Bu süreçleri anlamak, karar verme mantıklarına yönelik dış müdahale girişimlerini takip edebilen, daha şeffaf ve öngörülebilir sistemler oluşturmanın anahtarı olabilir.