学者提出有限步长SGD的随机学习流理论
Start here
2026年11月3日，arXiv机器学习领域发表的一项研究针对有限步长随机梯度下降（SGD）提出了“随机学习流”（SLF）矩方程。该理论在高斯闭包下，推导出了学习率 $\eta$ 一阶精度下的参数分布均值与协方差动力学。研究指出，参数均值沿受到协方差与损失曲率正则化的有效损失下降，且协方差在曲率达到 $2/\eta$ 时失稳。在线性和非线性网络中，SLF相较于梯度流能够更准确地预测学习曲线与均值轨迹，并揭示了稳定边缘机制。
AI-generated from reports · Updated 1 day ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习随机学习流：有限步长下 SGD 的矩方程
研究针对有限步长 SGD 提出了“随机学习流”（SLF）矩方程，在高斯闭包下推导出学习率 $\eta$ 一阶精度下的参数分布均值与协方差动力学。该理论表明均值沿受协方差与损失曲率正则化的有效损失下降，且协方差在曲率达到 $2/\eta$ 时失稳。在线性与非线性网络中，SLF 比梯度流更准确地预测了学习曲线与均值轨迹，并揭示了稳定边缘机制。
Story heat trend
Current heat 4·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours-51%
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.