AITNT · AI头条（网页）·2026-10-27 10:35· 2 小时前精选AI 评分81

Google DeepMind 团队指出 PyTorch 与 JAX 基础 Softmax 与交叉熵实现存在浮点舍入缺陷

AI教科书全错！底层公式惊天Bug曝光，Gemini率先自我修复

AI 导读

Google DeepMind 研究科学家 Jonathan T. Barron 团队在 arXiv 提交论文，指出 PyTorch、JAX 等框架在标准 Softmax 和交叉熵实现中存在浮点数舍入缺陷，会导致梯度归零或残留幽灵梯度并引发训练震荡。

推荐理由

研究指出现有主流框架中基础损失函数的浮点舍入漏洞并给出改写方案，有助于从业者解决低精度训练震荡问题。