Исследование доказало превосходство JEPA над языковыми моделями в обучении

Исследователи опубликовали научную работу Proving and Improving the Platonic Representation Hypothesis with JEPAs, математически доказывающую сходимость Joint-Embedding Predictive Architectures к единому представлению мира с точностью до вращения.

В ходе работы выяснилось, что традиционное предсказание следующих токенов уступает по эффективности архитектурам JEPA. Последним требуется в 42 раза меньше обучающих выборок для достижения аналогичных результатов, что позволяет им превосходить крупные языковые модели.

Авторы подтвердили гипотезу платонических представлений, показав принципиально иную динамику формирования скрытых признаков в современных нейросетях.

Полученные данные дают разработчикам практическое обоснование для перехода на предсказательные архитектуры общего вида вместо чисто текстового предиктивного моделирования.