理解随机伪梯度外层 Nesterov 动量的稳定性

新理论研究揭示了分布式训练中外层 Nesterov 动量、本地步数与 worker 平均对训练稳定性的控制机制。针对随机二次问题推导出的精确均方稳定性准则表明，内部批次大小决定增加本地步数会稳定还是破坏外层迭代，且维持稳定所需的 worker 数量可能随本地步数呈指数增长。该动态可通过共享 mini-batch 扰动在中间检查点直接探测。