跳到正文
原文
arXiv 自然语言处理· Sumin Lee, Sukmin Cho, Suengjae Lim, Youngjin Kwon·· 6 小时前AI 评分37

AgSpec:突破代码智能体中基于检索的推测解码极限

AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines

AI 导读

研究人员提出 AgSpec 框架,针对代码智能体流水线优化基于检索的推测解码。该框架从会话、工作区和全局语料中检索文本,并结合离线分析上限与在线验证反馈动态调整草稿长度。在多智能体代码基准测试中,AgSpec 优于 EAGLE-3 等基线,使生成吞吐量在 batch size 1 和 16 时分别比自回归解码提升高达 4.37x 与 4.76x。

来源:arXiv 自然语言处理 · arxiv.org