arXiv 机器学习· Aref Jafari, Vansh Bhatia, Matt Qin, Subhajit Dutta Chowdhury, Ben Lee, Vikram Appia, Ali Ghodsi, Mehdi Rezagholizadeh·· 6 小时前AI 评分43
长上下文投机解码无需长上下文草稿模型
Long-Context Drafting Does Not Require Long-Context Drafters
AI 导读
研究提出冻结已发布的短上下文草稿模型，无需重新训练即可将其推测推理长度扩展至 200 万 tokens。该方法在推理阶段通过限制草稿模型可见的注意力缓存来固定开销，并将旋转位置编码重定位至训练范围内。测试表明单一 vLLM 配置即可覆盖 4k 至 200 万 tokens，使草稿模型在超长上下文中保留短上下文时的加速表现。
来源：arXiv 机器学习 · arxiv.org