Araştırmacılar AI eğitimi için veri maskelemenin etkinliğini kanıtladılar

Bir grup bilim insanı, sistemin ayrı modüllerinin işleyebileceği veri miktarını sınırlamanın, bunların bileşik genellemeye olan yeteneğini önemli ölçüde iyileştirdiğini doğrulayan bir araştırma sonucunu yayınladı. Deneyde, eğitilebilir sürekli paketler aracılığıyla bilgi alışverişi yapan dondurulmuş bir dil modeli temelinde oluşturulan 60 sistem kullanıldı.

Test sırasında çeşitli kanıt maskeleme koşulları, mülkiyet belirteçlerinin kullanımı ve dış verilerin nötr doldurucularla değiştirilmesi uygulandı. Mülkiyet belirteçlerinin varlığında veri maskeleme, iki ve üç işlemden oluşan kompozisyonlar için sırasıyla 0,846 ve 0,859 median puanlarında görev performansı doğruluğunu artırdı. Tüm 12 kontrol çifti, hipotezi doğrulayarak, bilgi erişimini sınırlamanın avantajına sahip olduğunu gösteren belirlenmiş doğruluk eşiğini erfolgreich geçti.

Araştırmacılar, her birinde veri işleme sırasında öngörülen ara değer değişikliklerini kaydettikleri 18 sistemi maskeleme uygulayarak denetledi. Testlerdeki başarılara rağmen, açık rol belirteçlerinin sistemlerin davranışları üzerindeki etkisi tam olarak araştırılamadı, çünkü küresel olarak görünen hiçbir model, belirteçlere uyma testini geçemedi.

Çalışmanın yazarları, arXiv lisansı ile uyumlu olarak protokoller, sonuçlar ve model kontrol noktalarına açık erişim sağladı. Elde edilen veriler, veri görünürlüğü üzerindeki mimari kısıtlamaların, daha güvenilir ve mantıksal olarak tutarlı AI sistemlerinin geliştirilmesinde ve yeni görev kombinasyonlarıyla daha iyi başa çıkabilmesinde kilit bir faktör olabileceğini gösteriyor.