热点事件持续更新
研究人员提出MoE模型极低比特量化框架ProQuant
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026年10月23日,研究人员在arXiv发表成果,提出面向混合专家(MoE)模型的仅权重训练后量化(PTQ)框架ProQuant,旨在超低比特预算下保持模型的生成质量。该框架包含两项核心技术:一是联合优化专家剪枝与位宽分配的PoP策略,二是利用数学等价变换调整输入表征以减少路由漂移的RoCo微调方法。实验结果显示,ProQuant在多种生成任务上的表现优于现有方法。目前,该项目的相关代码已开源。
AI 根据报道生成 · 7 小时前更新
最新进展10月23日 12:00
研究人员提出面向MoE模型的超低比特量化框架ProQuant,实验效果优于现有方法并已开源代码。报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv 人工智能ProQuant:在 MoE 模型超低比特量化中注重专家质量而非数量
研究人员提出面向 MoE 模型的仅权重训练后量化(PTQ)框架 ProQuant,旨在超低比特预算下保持模型的生成质量。该框架结合联合优化专家剪枝与位宽分配的 PoP 策略,以及通过数学等价变换调整输入表征以减少路由漂移的 RoCo 微调方法。实验表明 ProQuant 在多种生成任务上优于现有方法,相关代码已开源。
本事件热度走势
当前热度 8·可比范围峰值 10(10月23日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。