arXiv 机器学习· Christian Schmid, James M Murray·· 9 hours agoAI score33
随机学习流：有限步长下 SGD 的矩方程
Stochastic learning flow: moment equations for stochastic gradient descent at finite step size
Not yet translated; shown in Chinese.
AI guide
研究针对有限步长 SGD 提出了“随机学习流”（SLF）矩方程，在高斯闭包下推导出学习率 $\eta$ 一阶精度下的参数分布均值与协方差动力学。该理论表明均值沿受协方差与损失曲率正则化的有效损失下降，且协方差在曲率达到 $2/\eta$ 时失稳。在线性与非线性网络中，SLF 比梯度流更准确地预测了学习曲线与均值轨迹，并揭示了稳定边缘机制。
Source:arXiv 机器学习 · arxiv.org