arXiv 机器学习· Eliezer Shlomi, Eliron Rahimi, Avi Mendelson, Chaim Baskin·· 4 小时前AI 评分37
SPOT：通过提交顺序预测增强扩散语言模型的投机解码
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
AI 导读
研究人员提出面向扩散语言模型（DLMs）的投机解码方法 SPOT，通过 0.62M 参数模型预测位置生成顺序来构建候选树并完成单次并行验证。该方法结合耦合噪声匹配验证支持任意温度，将目标模型传递次数减少最高 6.8x，吞吐量达到标准解码的最高 3.2x。此外，其草稿模型在 6 个不同 DLM 间成功实现了跨模型迁移。
来源：arXiv 机器学习 · arxiv.org