arXiv 自然语言处理· Geonmo Gu, Byeongho Heo, HeeJae Jun, Yoohoon Kang, Sangmin Lee, Sangdoo Yun, Dongyoon Han·· 2 小时前AI 评分42
DLoop：循环投机解码方法
DLoop: Looped Speculative Decoding
AI 导读
DLoop 是一种循环投机解码方法，可在草稿模型保持置信时自适应执行多次草稿阶段，并将所有累积的草稿 token 统一交由目标模型验证。该方法结合循环感知训练，有效减少了目标模型的前向传播开销。在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测等方案上，DLoop 在保持无损解码的前提下将实际加速比提升了 5% 至 41%。
来源：arXiv 自然语言处理 · arxiv.org