跳到正文
原文
arXiv 人工智能· Yuyang Dai, Yushun Dong·· 1 天前AI 评分35

轨迹检索推测解码:模型自身的历史记录何时能发挥作用?

Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?

AI 导读

研究人员提出轨迹局部自适应检索方法 TLAR,通过从当前生成轨迹中检索近似匹配的后续内容来辅助推测解码,并与模型生成的草稿合并至共享候选树中进行严格验证。TLAR 能依据近期验证结果自适应调整检索激活与候选宽度,在代码调试、数学和开放式写作任务中显著提高了 token 接受率与端到端吞吐量。

来源:arXiv 人工智能 · arxiv.org