arXiv 机器学习· Jos\'e Lucas De Melo Costa, Seong Woo Ahn, Fabrice Popineau, Arpad Rimmel, Bich-Li\^en Doan·· 6 小时前AI 评分38
驱动与衰减：联合嵌入预测架构（JEPA）的训练动力学研究
Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
AI 导读
研究针对联合嵌入预测架构（JEPA）的表征崩溃问题提出早期训练稳定性理论，揭示了驱动力与衰减效应的竞争机制。该理论统一解释了预测器缩放、掩码比例和 EMA 的作用，并在超 800 种 Tabular-JEPA 配置下证实了相界。据此设计的 ResidualPred 提升了表格及 CIFAR、ImageNet 等 I-JEPA 预训练的有效秩与下游精度，代码已开源。
来源：arXiv 机器学习 · arxiv.org