跳到正文
原文
arXiv 自然语言处理· Renxi Liu, Yiming Li, Shengyin Sun, Chen Chen, Xian Wang, Shuai Yang, Huiling Zhen, Xianzhi Yu, Yaoyuan Wang, Weizhe Lin, Xiaosong Li·· 6 小时前AI 评分34

PV-Decoding:面向扩散大语言模型的渐进式验证推测解码框架

PV-Decoding: Progressive Verification Decoding with Decode Gating for Diffusion Language Models

AI 导读

研究人员提出针对离散扩散大语言模型(dLLM)的投机解码框架 PV-Decoding,通过置信度门控将掩码位置分区并采用渐进式验证策略加速推理。在 GSM8K、MBPP 和 HumanEval 评测中,该方法将顺序模型前向传递次数(MFP)减少 8%–37%,且最大精度降幅控制在 1.3% 以内。

来源:arXiv 自然语言处理 · arxiv.org