Araştırmacılar Qwen modelleri için R-Lens yönteminin etkinliğini değerlendirdiler

Araştırmacılar, R-Lens yönteminin test edilmesini gerçekleştirdi, bu yöntem dil modelleri ailesi Qwen'in ağırlıklarından gizli gerçekleri çıkarmak için tasarlandı. Deney sırasında, algoritmanın hedef kelimeleri sıralama yeteneği mevcut J-Lens yaklaşımıyla karşılaştırıldı.

Sonuçlar, R-Lens'in hedef tokenleri sıralamada daha yüksek performans gösterdiğini gösterdi. Ancak kontrol ölçümleri, yöntemin avantajının doğrudan eğitim kümesindeki kelime sıklığı ile ilişkili olduğunu, model parametrelerinden özel gerçek bilgilerin çıkarılma derinliğiyle değil, ortaya koydu.

Çalışma kapsamında, gizli bilgi arama amaçlı sorgularda nöron aktivasyon mekanizmaları analiz edildi. Qwen'de token dağılımının istatistiksel kalıplarının, algoritmanın yorumlamaya çalıştığı varsayılan "gizli bilgiler"den daha büyük bir etkiye sahip olduğu tespit edildi.

Verilen araştırma, ağırlıklarda doğrudan gerçek aramaya dayalı mevcut yorumlanabilirlik yöntemlerinin etkinliğini sorgulamaktadır. Elde edilen veriler, LLM'nin iç yapısını analiz araçları geliştirirken sıklık bozulmalarının dikkate alınmasının gerekliliğini gösteriyor.