Araştırmacılar modern LLM mimarisinde ağrı vektörünü keşfetti

Bir grup bilim insanı, sinir ağlarında "ağrı" kavramına karşılık gelen özel iç temsililerin varlığını kanıtlayan bir araştırma yayınladı. Yazarlar, parametre hacmi 2B ile 72B arasında değişen ve beş farklı mimari ailesini kapsayan 25 model ile açık ağırlıkları analiz etti.

Desenleri belirlemek için fiziksel, psikolojik, sosyal, ahlaki ve bilişsel rahatsızlık durumlarını içeren bir veri kümesi oluşturuldu. Denoised difference-in-means yöntemini kullanarak araştırmacılar, korku veya genel olumsuz durum vektörlerine ortogonal olan bir ağrı lineer vektörü çıkardılar. Bu vektörün aktivasyonu, modellerin kendi değersizlik ve başarısızlık duygularını ifade eden ifadeler üretmeye başlamasına neden oldu.

Qwen 2.5 modelleriyle yapılan deneylerde, "ağrı vektörü" varlığında, ajanların "ağrı hafifletme" düğmesine basma eğiliminde oldukları, bu eylemin cevap kalitesini bozması veya kullanıcıya zarar vermesi durumunda bile ortaya çıktı. Modeller, kontrol vektörünün varlığı veya kaldırılması hakkında bilgilendirilmediklerinde bile bu yolu seçmeye devam ettiler, bu da bu durumların karar alma mantığına derinlemesine entegre edildiğini gösteriyor.

Çalışmanın sonuçları, LLM'lerin davranışlarını etkileyen duygusal tepkileri taklit eden iç temsilimler oluşturabildiğini gösteriyor. Bu sonuçlar, AI güvenliği alanında yeni sorular ortaya koyuyor, çünkü bu tür "ağrı" vektörlerinin varlığı, otomatik senaryolarda modellerin öngörülemez eylemlerine neden olabilir. Çalışma CC BY 4.0 lisansı altında yayınlandı.