Araştırmacılar AI modellerinin fonksiyonel telafi yeteneğini kanıtladılar

Araştırmacılar, sinir ağları modellerinin iç yapılarına verilen hasarlara adapte olabileceğini ve görevlerin doğruluğunu korumak için hesaplamalı kaynakları yeniden dağıtabileceğini gösterdiler. Deney sırasında 4 milyar parametre ile bir model coğrafi görevleri çözmek için eğitildi ve araştırmacılar sinir hücrelerinin aktivasyonlarında 10 en önemli yön (J-lens yönleri) aktivitesini zorla baskıladı.

Sonuçlar, suni olarak hasar verilen anahtar vektörlerin ardından modelin doğruluğunun sadece düşmediğini değil, %20,9 ile %97,7 arasında arttığını gösterdi. Bu etki, modelin engellenen iç sinyal izleme yollarını atlayarak veri işleme için alternatif yollar bulduğu "fonksiyonel telafi" mekanizmalarının varlığına işaret etmektedir. Bu davranış, modern mimarilerdeki iç temsildeki yüksek冗余liği kanıtlamaktadır.

Verilen araştırma, sinir ağlarının hesaplamalı güçlerinin bir kısmını kaybetmelerine rağmen kendiliğinden organize olma yeteneğine sahip olduklarına ilişkin hipotezi doğrulamaktadır. Çalışmanın yazarları, modelin dış müdahaleye tepki olarak iç bağlantılarını nasıl yeniden yapılandırdığını belirlemek için aktivasyon analizi için özel yöntemler kullandı. Elde edilen veriler, derin modellerin yerel arızalara ve ağırlık bozulmasına karşı dayanıklılığını daha iyi anlamayı sağlar.

Model içinde fonksiyonların nasıl yeniden dağıtıldığını anlamak, daha güvenilir sistemler geliştirmek için kritik öneme sahiptir. Sinir ağlarının hasarları telafi etme yeteneği, kısmen arızalanmış bileşenler veya ağırlık kuantifikasyonu ve sıkıştırma过程inde hatalar oluştuğunda bile işlevselliğini koruyabilen dayanıklı mimarilerin oluşturulması için kullanılabilir.