arXiv 机器学习· Yuxiao Chen, Changxiao Cai·· 1 天前AI 评分38
Packed-SS：基于扩散起草的单次调用自推测解码
One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting
AI 导读
研究者提出自推测解码方案 Packed-SS，通过让扩散起草器超前一次调用，在单次模型调用中同时完成验证与起草，使输入尺寸随推测宽度呈线性增长并保持目标模型分布不变。该方案在贪婪解码设置下所需的模型调用次数不高于传统双调用模式。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的实验表明，Packed-SS 取得了更高的吞吐量与更低的平均耗时。
来源：arXiv 机器学习 · arxiv.org