arXiv 人工智能· Yanlong Zhao, Xiaoyuan Cheng, Huihang Liu, Baihua He, Xinyu Zhang, Harrison Bo Hua Zhu, Wenlong Chen, Li Zeng, Zhuo Sun·· 5 小时前AI 评分36
当更低重建损失带来反效果：低比特大语言模型量化的分布鲁棒优化方法 DRQ
When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization
AI 导读
针对低比特大语言模型权重量化（PTQ）中更低重建损失反而可能降低泛化性能的问题，研究人员提出了分布鲁棒量化（DRQ）优化方法。DRQ 通过在约束的输入激活分布集合上最小化最坏情况重建损失，直接微调量化权重整数编码，不改变推理算子且无额外推理开销。实验显示，DRQ 提升了 AWQ、GPTQ、ParoQuant 等 6 种主流 PTQ 方法在 Dense 和 MoE 模型上的表现。
来源：arXiv 人工智能 · arxiv.org