Araştırmacılar, Fisher metriği aracılığıyla sinir ağlarını budama yöntemini önerdiler

Araştırmacılar, model parametreleri uzayında diferansiyel-geometrik mesafeyi kullanarak sinirsel mimari optimizasyonu için yeni bir matematiksel yaklaşım sundu. Bu yöntem, Fisher metriği kullanılarak hiperyüzeydeki parametre değeri sıfıra eşit olduğunda jeodezik mesafeyi hesaplayarak kaldırılacak optimal ağırlıkları belirler.

Geleneksel ağırlık büyüklüğü budama (magnitude pruning) yönteminden farklı olarak, önerilen algoritma bir parametrenin kaldırılmasının model performansı üzerindeki gerçek etkisini dikkate alır. Araştırmacılar, yöntemi tam bağlantılı ağlar ve Vision Transformers üzerinde MNIST ve CIFAR-10 veri setlerini kullanarak test etti. Deneyler, beş farklı rastgele başlatma kullanarak %0'dan %100'e kadar parametre kaldırma aralığında gerçekleştirildi.

Sonuçlar, yeni yaklaşımın tüm test edilen mimarilerde standart budama yöntemlerini doğruluk ve Matthews korelasyon katsayısı açısından aştığını gösterdi. Yazarlar ayrıca jeodezik mesafenin bir hiyerarşisini geliştirdiler, bu da yüksek verimliliği korurken hesaplamalı maliyetleri azaltan ara sıkıştırma şemalarının oluşturulmasına olanak tanır.

Çalışma, genellikle sezgisel yöntemlere dayanan sinir ağları seyrekleştirme süreçleri için teorik bir temel sağlar. Matematiksel model, belirli sinirsel bağlantıların kaldırılmasının performansı bozulmasını daha doğru bir şekilde tahmin etmesini sağlar ve bu, sınırlı kaynaklara sahip cihazlara modeller dağıtmak için kritiktir. Araştırma Creative Commons BY 4.0 lisansı altında yayınlandı.