截断反向传播在循环 Transformer 中会损失多少梯度？

研究人员在 9 个循环大语言模型上精确测量了仅反向传播最后 k 层的截断策略所损失的权重梯度。实验发现损失的梯度主要由靠近输出侧决定，在 32 到 64 次循环间变化仅约 0.03，而在 Ouro 上保留 4 次循环中的 2 次仍会损失最终输出 81% 的梯度。该损失在微调 300 步内会下降 0.07-0.22，但目前尚无法证明它比免测规则能更好地预测截断训练成本。