线性残差网络训练中宽度与深度极限可对易

新研究证明，在采用 Depth-$\mu$P 残差分支缩放与 $\mu$P 宽度参数化的线性残差网络中，无限宽度与无限深度极限在训练过程中可对易。在带有梯度裁剪的任意固定步数梯度下降训练下，网络输出沿所有宽高联合增长路径均按 $L^2$ 收敛。若不进行梯度裁剪，研究证实输出仍满足较弱的依概率收敛。