arXiv 机器学习· Zhichao Wang, Michael W. Mahoney·· 4 hours agoAI score35
带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特
Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding
Not yet translated; shown in Chinese.
AI guide
该研究推导出了带随机舍入（SR）的 SGD 缩放法则，确定了模型规模、训练时间与精度变化下预测误差的匹配上下界。分析表明仅对前向特征舍入可保留精确算术的计算缩放，而反向特征舍入会改变缩放规律并影响学习率调度。在固定计算预算下，降低精度以换取更大模型规模可提升预测表现，相关权衡在 MLP 和小型 Transformer 上得到验证。
Source:arXiv 机器学习 · arxiv.org