arXiv 机器学习· Jiakun Fan, Min Xiao, Qiang Wang, Neiwen Ling, Zhichao Liu, Zhihao Jia, Dimitrios S. Nikolopoulos, Zijun Wei·· 5 小时前AI 评分38
面向扩散草稿投机解码的因子分解指导训练与推理框架 DScout
Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding
AI 导读
DScout 提出利用两项互补的因子分解分别指导扩散草稿模型的训练与推理，旨在解决扩散投机解码中接受长度与延迟不匹配的问题以提升实际吞吐量。在六项基准测试中，DScout 在 Qwen3-4B 和 Qwen3-8B 上相比自回归解码分别实现 3.84x 和 4.14x 的平均加速比，较 SOTA 基线平均加速比提升 9.1% 和 7.1%。
来源：arXiv 机器学习 · arxiv.org