ホットトピック継続更新中
研究提出带随机舍入SGD低精度训练缩放法则
1 件の報道1 件の報道元4 時間前 更新
まずこの件を把握する
AI 概要
2026年11月2日，arXiv发表题为《带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特》的研究。该研究推导出了带随机舍入（SR）的随机梯度下降（SGD）缩放法则，确定了模型规模、训练时间及精度变化下预测误差的匹配上下界。理论分析指出，仅对前向特征进行舍入可保留精确算术的计算缩放，而反向特征舍入则会改变缩放规律并影响学习率调度。此外，研究表明在固定计算预算下，通过降低精度来换取更大的模型规模能够提升预测表现，该权衡结论已在多层感知机（MLP）和小型Transformer架构上得到实验验证。
AI が報道をもとに生成 · 4 時間前 更新
最新の進展11月2日 13:00
研究推导出带随机舍入的SGD缩放法则，验证了降精度换更大模型规模的可行性。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- arXiv 机器学习带随机舍入的 SGD 缩放法则：何处、何时与需要多少比特
该研究推导出了带随机舍入（SR）的 SGD 缩放法则，确定了模型规模、训练时间与精度变化下预测误差的匹配上下界。分析表明仅对前向特征舍入可保留精确算术的计算缩放，而反向特征舍入会改变缩放规律并影响学习率调度。在固定计算预算下，降低精度以换取更大模型规模可提升预测表现，相关权衡在 MLP 和小型 Transformer 上得到验证。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。