Araştırmacılar mekanik yorumlanabilirlik için doğrulama metrikleri önerdi

Araştırmacılar, mekanistisque yorumlanabilirlik için yeni bir yaklaşım sundu, bunu katı bir şekilde doğrulanabilir bir görev olarak tanımladı. Temel fikir, sinir ağındaki ayrı bileşenleri basitleştirilmiş analojilerle değiştirmek ve ardından çıkış verilerinin yeniden yapılandırılması sırasında kayıpları ölçmektir.

Yorum kalitesini değerlendirmek için yazarlar, model grafiğindeki düğüm ve kenar sayısı ve ayrıca özellik yeniden kullanımı (feature reuse) göstergeleri temelinde nicel metriklere dayanmayı öneriyor. Çalışma sırasında, tensör ağları ve düşük rütbeli aproximasyonlar gibi klasik yöntemlerin, modelin iç süreçlerinin tam doğrulanması için yeterli doğruluk sağlamadığı tespit edildi.

Yöntem, herhangi bir sinir ağı yapısı yorumunun, modelin orijinal davranışını minimum sapmalarla geri yüklemesine izin vermesini gerektirir. Bir bölümünün ağırlıklarını basitleştirilmiş bir şema ile değiştirmek yeniden yapılandırma kaybı'nın keskin bir artışına neden olursa, yorum eksik veya yanlış kabul edilir. Bu, "kara kutu" analiz sürecini tekrarlanabilir deneyler aracılığıyla formalize etmeyi sağlar.

Verilen yaklaşım, AI yorumlanmasında subjektivite sorununu çözmeyi amaçlıyor. Sinir hücrelerinin çalışma şeklinin nitel bir açıklaması yerine, basitlik ve fonksiyonel eşdeğerlik için matematiksel olarak doğrulanabilir kriterler öneriliyor. Bu, araştırmacıların, modelin ayrı ağırlıklar ve aktivasyonlar düzeyinde bilgiyi nasıl işlediğine ilişkin çeşitli hipotezleri nesnel olarak karşılaştırmalarına olanak tanır.