arXiv 机器学习· Sangyoon Bae, Jiook Cha·· 16 小时前AI 评分36
结构、维度与分布形状：是什么让预训练数据具备可迁移性，为何由输入流水线决定
Structure, Dimensionality, and Distribution Shape - What Makes Pretraining Data Transferable, and Why the Input Pipeline Decides Which
AI 导读
研究提出迁移不变性原则，发现预训练数据的可迁移性由结构、维度及分布形状决定，且由模型的输入流水线而非数据模态起主导作用。通过合成生成器 TransferForge 测试，仅切换输入归一化就会使分布形状对迁移的影响相差 5.3 倍。在 PatchTST 与 POYO Plus 上，匹配该原则的合成预训练数据表现可匹敌甚至超越真实语料。
来源：arXiv 机器学习 · arxiv.org