LayerRoPE：动态深度幅度与角度叠加

研究人员提出 LayerRoPE，将 Transformer 隐藏状态随深度增长转化为显式深度位置编码，用单个共享向量和深度调节标量替代逐层归一化权重。在 100B+ tokens 训练中，LayerRoPE 仅产生小于 0.02% 的 FLOPs 变化，并以减少 3.4x 的计算量达到 Pre-Norm 1.3B 的损失水平。