机器学习中的数值近似多精确才足够？

针对机器学习系统中的数值近似精度问题，该研究提出直接通过学习目标评估误差，指出相同大小的原始误差在不同学习状态下对损失、预测和梯度的影响截然不同。研究针对 softmax 交叉熵推导了类别权重与误差的耦合机制，建立了误差向损失、预测和特征梯度的传递保证与容差反推框架。高维 von Mises-Fisher 学习实验表明，在相同学习要求下，不同状态间的可验证数值容差可相差数个数量级。