研究团队提出分布式训练外层动量稳定性理论

2026年10月19日，arXiv机器学习领域发布的一项新理论研究，探讨了随机伪梯度外层Nesterov动量的稳定性。该研究揭示了分布式训练中外层Nesterov动量、本地步数与worker平均对训练稳定性的控制机制。研究团队针对随机二次问题推导出了精确的均方稳定性准则，结果表明内部批次大小决定了增加本地步数会稳定还是破坏外层迭代；同时，维持训练稳定所需的worker数量可能随本地步数呈指数级增长。此外，研究还指出该动态机制可通过共享mini-batch扰动在中间检查点直接进行探测。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。