Google DeepMind 研究揭示主流框架 Softmax 与交叉熵数值缺陷并提出修复方案

Google DeepMind 研究团队发现 PyTorch 和 JAX 等主流深度学习框架的 Softmax 与交叉熵标准实现存在两处隐蔽数值精度缺陷，可能在特定训练阶段导致梯度归零或损失突刺。论文分析了 Logit 差距过大引发的 Softmax 坍缩以及知识蒸馏中极接近输出导致的相消误差，并在不提高浮点精度的情况下重构了计算方式，提供了有效消除训练异常的 JAX 参考实现。