抽象预训练对语言模型能力的持久影响：超越困惑度

研究表明，在小型语言模型预训练初期仅分配 1% 的抽象栈操作任务 token 进行热身，可在困惑度相当的情况下将 MUSIQUE 多跳问答 F1 分数最高提升 3.9 点，并提升 HOTPOTQA 与 2WIKIMULTIHOPQA 的表现。该方法能显著加速模型习得深层链式推理能力，且这种早期优势可在后续数十亿自然语言 token 训练中持久保持。