研究提出带随机舍入SGD低精度训练缩放法则
Start here
2026年11月2日，arXiv发表题为《带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特》的研究。该研究推导出了带随机舍入（SR）的随机梯度下降（SGD）缩放法则，确定了模型规模、训练时间及精度变化下预测误差的匹配上下界。理论分析指出，仅对前向特征进行舍入可保留精确算术的计算缩放，而反向特征舍入则会改变缩放规律并影响学习率调度。此外，研究表明在固定计算预算下，通过降低精度来换取更大的模型规模能够提升预测表现，该权衡结论已在多层感知机（MLP）和小型Transformer架构上得到实验验证。
AI-generated from reports · Updated 3 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特
该研究推导出了带随机舍入（SR）的 SGD 缩放法则，确定了模型规模、训练时间与精度变化下预测误差的匹配上下界。分析表明仅对前向特征舍入可保留精确算术的计算缩放，而反向特征舍入会改变缩放规律并影响学习率调度。在固定计算预算下，降低精度以换取更大模型规模可提升预测表现，相关权衡在 MLP 和小型 Transformer 上得到验证。
Story heat trend
Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.