热点事件持续更新
研究提出带随机舍入SGD低精度训练缩放法则
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日，arXiv发表题为《带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特》的研究。该研究推导出了带随机舍入（SR）的随机梯度下降（SGD）缩放法则，确定了模型规模、训练时间及精度变化下预测误差的匹配上下界。理论分析指出，仅对前向特征进行舍入可保留精确算术的计算缩放，而反向特征舍入则会改变缩放规律并影响学习率调度。此外，研究表明在固定计算预算下，通过降低精度来换取更大的模型规模能够提升预测表现，该权衡结论已在多层感知机（MLP）和小型Transformer架构上得到实验验证。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
研究推导出带随机舍入的SGD缩放法则，验证了降精度换更大模型规模的可行性。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv 机器学习带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特
该研究推导出了带随机舍入（SR）的 SGD 缩放法则，确定了模型规模、训练时间与精度变化下预测误差的匹配上下界。分析表明仅对前向特征舍入可保留精确算术的计算缩放，而反向特征舍入会改变缩放规律并影响学习率调度。在固定计算预算下，降低精度以换取更大模型规模可提升预测表现，相关权衡在 MLP 和小型 Transformer 上得到验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。