研究提出预训练数据迁移不变性原则及TransferForge

1. 13:00
   arXiv 机器学习

   结构、维度与分布形状：是什么让预训练数据具备可迁移性，为何由输入流水线决定

   研究提出迁移不变性原则，发现预训练数据的可迁移性由结构、维度及分布形状决定，且由模型的输入流水线而非数据模态起主导作用。通过合成生成器 TransferForge 测试，仅切换输入归一化就会使分布形状对迁移的影响相差 5.3 倍。在 PatchTST 与 POYO Plus 上，匹配该原则的合成预训练数据表现可匹敌甚至超越真实语料。

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.