研究提出无需长上下文草稿模型的投机解码方法

1. 12:00
   arXiv 机器学习

   长上下文投机解码无需长上下文草稿模型

   研究提出冻结已发布的短上下文草稿模型，无需重新训练即可将其推测推理长度扩展至 200 万 tokens。该方法在推理阶段通过限制草稿模型可见的注意力缓存来固定开销，并将旋转位置编码重定位至训练范围内。测试表明单一 vLLM 配置即可覆盖 4k 至 200 万 tokens，使草稿模型在超长上下文中保留短上下文时的加速表现。

当前热度 9·可比范围峰值 10（10月16日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。