Una ricerca ha dimostrato la superiorità di JEPA rispetto ai modelli linguistici nell'apprendimento

I ricercatori hanno pubblicato il documento scientifico Proving and Improving the Platonic Representation Hypothesis with JEPAs, che dimostra matematicamente la convergenza delle Joint-Embedding Predictive Architectures verso una rappresentazione unitaria del mondo, a meno di rotazione.

Nel corso dello studio è emerso che la tradizionale previsione dei token successivi è meno efficiente rispetto alle architetture JEPA. Queste ultime richiedono 42 volte meno campioni di addestramento per ottenere risultati analoghi, il che consente loro di superare i grandi modelli linguistici.

Gli autori hanno confermato l'ipotesi delle rappresentazioni platoniche, mostrando una dinamica fondamentalmente diversa nella formazione delle caratteristiche latenti nelle moderne reti neurali.

I dati ottenuti forniscono agli sviluppatori una giustificazione pratica per passare ad architetture predittive di tipo generale invece della modellazione predittiva puramente testuale.