自适应深度训练仅需作为收尾阶段

研究提出针对循环 Transformer 的 fixed-first 训练方法，仅在训练的最后收尾阶段调整模型深度。在 200M 参数下，前 67% 阶段固定深度 2 训练可减少 45% 算力，平均 NLL 差异在 0.5% 以内；在 1B 参数下，初始固定深度 4 训练可减少 31% 至 37% 算力与 32% 至 39% 耗时，且下游表现差异处于随机种子波动范围内。