研究證實 JEPA 在學習能力上優於語言模型
2026年11月1日
研究人員發表了一篇名為 Proving and Improving the Platonic Representation Hypothesis with JEPAs 的學術論文,從數學上證明了聯合嵌入預測架構(Joint-Embedding Predictive Architectures)能夠收斂至一個旋轉不變的統一世界表徵。
研究發現,傳統的下一個 Token 預測在效率上不如 JEPA 架構。後者僅需 42 分之一的訓練樣本量即可達到相同的結果,這使其表現優於大型語言模型。
作者證實了柏拉圖表徵假說(Platonic Representation Hypothesis),並展示了現代神經網路中隱藏特徵形成的根本性不同動態。
這些數據為開發者提供了實務上的依據,支持從純文字預測模型轉向通用預測架構。



