arXiv 机器学习· Lngel Kyo (A2O Labs)·· 10 小时前AI 评分29
在不同 $\varepsilon$ 下重放相同梯度：针对 Adam 优化器 $\varepsilon$ 固定轨迹解释的预注册检验
Replaying the Same Gradients at a Different $\varepsilon$: A Registered Test of the Fixed-Trajectory Account of Adam's $\varepsilon$ for One Rare Row
AI 导读
研究人员通过重放训练梯度，对 Adam 优化器增大 $\varepsilon$ 会按纯算术缩减稀有 token 嵌入行步长的“固定轨迹”假设进行了预注册检验。在小型因果 Transformer 测试中，当 $\varepsilon$ 提高 4 个数量级时该假设预测失效，探测行保留位移比预测值高出 8.9–11.4 倍（主输出头）及 5.0–7.7 倍（全 softmax 头）。
来源：arXiv 机器学习 · arxiv.org