arXiv 人工智能· Jiaqi Chen, Xianglong Yan, Chengzhu Bao, Xie Chen, Yulun Zhang·· 8 小时前AI 评分35
ProQuant：在 MoE 模型超低比特量化中注重专家质量而非数量
ProQuant: Preserving Expert Quality over Quantity in Ultra-Low-Bit Quantization of Mixture-of-Experts Models
AI 导读
研究人员提出面向 MoE 模型的仅权重训练后量化（PTQ）框架 ProQuant，旨在超低比特预算下保持模型的生成质量。该框架结合联合优化专家剪枝与位宽分配的 PoP 策略，以及通过数学等价变换调整输入表征以减少路由漂移的 RoCo 微调方法。实验表明 ProQuant 在多种生成任务上优于现有方法，相关代码已开源。
来源：arXiv 人工智能 · arxiv.org