arXiv 自然语言处理· Yanchao Li, Yusu Zhang, Jiaqing Xie, Yi Ban, Ben Gao, Zhongyu Huang, Tianfan Fu, Yuqiang Li·· 13 hours agoAI score40
PACT：扩散语言模型并行解码写入认证方法
PACT: Certifying What Is Written in Parallel Decoding of Diffusion Language Models
Not yet translated; shown in Chinese.
AI guide
研究提出免训练的扩散语言模型并行解码提交规则 PACT，通过先抽取 token、认证拟写入集合并拉开步内位置间距，以更少的前向传播次数达到现有规则的生成质量。在 LLaDA 与 Dream 系列 4 款模型及 HumanEval、MBPP、GSM8K、MATH500、IFEval 评测中，PACT 降低了总计算成本，并显著减少连续重复写词现象。
Source:arXiv 自然语言处理 · arxiv.org