热点事件持续更新
研究检验Adam优化器epsilon固定轨迹假设：预测出现失效
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
2026年10月30日，相关研究人员在arXiv发表预注册检验成果，探讨Adam优化器中增大ε对训练轨迹的具体影响。此前有假设认为，增大ε会按纯算术缩减稀有token嵌入行的步长，即“固定轨迹”假设。研究团队通过在不同ε下重放相同训练梯度对该假设进行了验证。在小型因果Transformer的测试中发现，当ε提高4个数量级时，该假设的预测出现失效：探测行的保留位移在主输出头下比预测值高出8.9至11.4倍，在全softmax头下比预测值高出5.0至7.7倍。
AI 根据报道生成 · 6 小时前更新
最新进展10月30日 12:00
研究显示增大ε时Adam固定轨迹假设失效，实测位移比预测值高出数倍。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv 机器学习在不同 $\varepsilon$ 下重放相同梯度：针对 Adam 优化器 $\varepsilon$ 固定轨迹解释的预注册检验
研究人员通过重放训练梯度，对 Adam 优化器增大 $\varepsilon$ 会按纯算术缩减稀有 token 嵌入行步长的“固定轨迹”假设进行了预注册检验。在小型因果 Transformer 测试中，当 $\varepsilon$ 提高 4 个数量级时该假设预测失效，探测行保留位移比预测值高出 8.9–11.4 倍（主输出头）及 5.0–7.7 倍（全 softmax 头）。
本事件热度走势
当前热度 8·可比范围峰值 9（10月30日 16:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。