注意力机制的非线性如何涌现与深度成反比的缩放律

非线性注意力机制在所有测试的数据谱上均能产生与深度成反比的损失衰减。非线性使注意力能够选择性聚焦于相关 token 并并行学习强弱谱方向，削弱了全局协方差结构的影响。跨层聚合进而将层特异性差异转化为随深度增加带来的持续性能收益，为大语言模型的深度缩放律提供了理论解释。