arXiv 自然语言处理· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·2026-10-07 12:00· 2 小时前AI 评分39

APEX：更智能而非更深度的投机解码

APEX: Speculate smarter, not deeper

AI 导读

研究人员提出投机解码控制器 APEX，通过请求级路由与块级深度自适应平衡 LLM 推理速度与 draft token 浪费。APEX 能在 EAGLE-3、n-gram 和草稿模型间动态选择，并结合验证反馈自适应调整草稿长度。