arXiv 人工智能· Yanshuo Chen, Chenxi Liu, Reza Shirkavand, Heng Huang·· 10 小时前AI 评分40
MPQ：从消息传递视角重塑大语言模型训练后量化
MPQ: A Message-Passing View of Post-Training Quantization
AI 导读
研究者提出消息传递量化（MPQ），将大语言模型训练后量化视为离散码本上的后验推理，通过在推理阶段保留跨块的软后验信息克服传统硬决策局限。该算法利用矢量近似消息传递计算近似块后验分布，再通过精确块坐标下降优化输出。在 Llama、Qwen 与 Mistral 的 2-bit 格型及 3-bit、4-bit 标量量化测试中，MPQ 均提升了困惑度和 zero-shot 准确率。
来源：arXiv 人工智能 · arxiv.org