arXiv 机器学习· Ningkang Peng, Xiaoqian Peng, Yifan He, Anjie Hu, Chao Tan, Peirong Ma, Yanhui Gu·· 7 小时前AI 评分33
相同损失，不同梯度
Same Loss, Different Gradients
AI 导读
在依赖特殊函数递推的概率目标（如高维 von Mises-Fisher 学习）中，数值实现可能产生相同前向损失却提供不同反向梯度，导致优化轨迹分叉。为此研究提出固定深度解析实现 AR/FR，通过联合构建势函数及其导数确保前向与反向计算的一致性。AR/FR 具备一致三次误差界，随表示维度增加误差保证进一步收紧，并实现固定深度计算。
来源：arXiv 机器学习 · arxiv.org