arXiv 自然语言处理· Darshan Thaker, Lachlan Ewen MacDonald, Ren\'e Vidal·· 1 天前AI 评分34
FastGuide：加速扩散大语言模型的奖励引导
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
AI 导读
FastGuide 提出了一种并行与自回归解码的自适应混合方法，用于加速扩散大语言模型在推理阶段的奖励引导。该方法每步仅计算一次奖励引导并复用生成多个 token，同时结合 KV cache 与稀疏注意力重计算高效去掩码，并自适应推迟低置信度 token。在三个奖励 benchmark 上的实验显示，FastGuide 相比串行奖励引导解码实现最高 4.4x 加速，同时保持相近的生成质量。
来源：arXiv 自然语言处理 · arxiv.org