arXiv 自然语言处理· Chao Li, Shigeng Wang, Anbang Yao·· 6 小时前AI 评分35
重建损失尺度的关键隐患：重新审视 LLM 量化中的优化问题
The Devil Is in the Reconstruction Loss Scale: Rethinking Optimization in LLM Quantization
AI 导读
研究发现基于学习的 LLM 训练后量化（PTQ）存在优化不平衡问题，常用的均方误差（MSE）重建损失会导致跨阶段梯度与参数更新极不均匀。为此提出优化强度应与重建损失尺度解耦的原则，并证明在样本、通道、token 和元素级别定义的均方根误差（RMSE）变体可通过隐式梯度归一化实现解耦，作为 MSE 的直接替代方案显著提升性能。
来源：arXiv 自然语言处理 · arxiv.org