跳到正文
原文
arXiv 自然语言处理· Jeff Shen, Zhejian Zhou, Ryan Lee, Jonathan May, Shirley Ho·· 7 小时前AI 评分38

FlashMap:基于流映射的投机解码

FlashMap: Flow Map Speculative Decoding

AI 导读

研究人员提出基于连续流的草稿模型 FlashMap,通过以目标模型的隐藏状态为条件并在单次前向传播中生成整块 token,有效捕捉 token 间的依赖关系以加速 LLM 推理。在千问(Qwen3-8B)测试中,FlashMap 在所有基准上均快于匹配的 DFlash 基线,平均加速比提升 7%,并实现最高 6.1x 的无损加速。

来源:arXiv 自然语言处理 · arxiv.org