热点事件持续更新
DeepMind发现主流框架Softmax精度缺陷并提出修复方案
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
2026年10月26日，Google DeepMind研究团队披露，PyTorch和JAX等主流深度学习框架的Softmax与交叉熵标准实现中存在两处隐蔽的数值精度缺陷。研究指出，Logit差距过大引发的Softmax坍缩，以及知识蒸馏中极接近输出导致的相消误差，可能在特定训练阶段造成梯度归零或损失突刺。针对这些问题，DeepMind团队在无需提升浮点精度的情况下重构了计算方式，并提供了可有效消除训练异常的JAX参考实现。
AI 根据报道生成 · 5 小时前更新
最新进展10月26日 11:30
DeepMind揭示主流框架Softmax两处精度缺陷并重构计算，发布了JAX参考实现。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AITNT · AI头条Google DeepMind 研究揭示主流框架 Softmax 与交叉熵数值缺陷并提出修复方案
Google DeepMind 研究团队发现 PyTorch 和 JAX 等主流深度学习框架的 Softmax 与交叉熵标准实现存在两处隐蔽数值精度缺陷，可能在特定训练阶段导致梯度归零或损失突刺。论文分析了 Logit 差距过大引发的 Softmax 坍缩以及知识蒸馏中极接近输出导致的相消误差，并在不提高浮点精度的情况下重构了计算方式，提供了有效消除训练异常的 JAX 参考实现。
本事件热度走势
当前热度 9·可比范围峰值 10（10月26日 12:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。