Araştırma, JEPA'nın öğrenme konusunda dil modellerine üstünlüğünü kanıtladı

Araştırmacılar, Joint-Embedding Predictive Architectures'ın (JEPA) dönüşüm hassasiyetiyle tek bir dünya temsiline yakınsadığını matematiksel olarak kanıtlayan Proving and Improving the Platonic Representation Hypothesis with JEPAs başlıklı bilimsel makaleyi yayınladılar.

Çalışma sırasında, geleneksel bir sonraki token tahmini yönteminin JEPA mimarilerine göre daha az verimli olduğu ortaya çıktı. JEPA mimarileri, benzer sonuçlara ulaşmak için 42 kat daha az eğitim örneğine ihtiyaç duyuyor ve bu da onların büyük dil modellerini geride bırakmasını sağlıyor.

Yazarlar, modern sinir ağlarında gizli özelliklerin oluşumunda temelden farklı bir dinamik göstererek Platonik temsil hipotezini doğruladılar.

Elde edilen veriler, geliştiricilere yalnızca metin tabanlı tahmin modellemesi yerine genel amaçlı tahmin mimarilerine geçiş yapmak için pratik bir gerekçe sunuyor.