arXiv 自然语言处理· Yangyi Shen, Pin-Jui Ku, Nicolai Oswald, Jean-Marie Lemercier, Yonggan Fu, Stefano Ermon, Jure Leskovec, Boris Ginsburg, Ante Juki\'c·· 4 小时前AI 评分36
One Block Ahead：在扩散语言模型中推进采样器状态
One Block Ahead: Promoting Sampler State in Diffusion Language Models
AI 导读
研究者提出免训练解码算法 One Block Ahead（OBA），通过在当前块去噪的同时并发处理下一块并同步传递采样器状态，实现扩散语言模型的并发块解码。在 DiffusionGemma 模型的 10 项基准测试中，OBA 使单次前向传播生成的 token 数提升 42.3%（从 15.64 增至 22.25），单请求去噪吞吐量提高 16.3%，仅伴随轻微准确率回退。
来源：arXiv 自然语言处理 · arxiv.org