arXiv 自然语言处理· Jungseob Lee, Sugyeong Eo·· 4 小时前AI 评分40
CAST：基于单次前向块草稿器的成本感知投机树
CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters
AI 导读
研究人员提出 CAST（成本感知投机树），将单次前向块草稿器生成的候选 token 打包为树并在单次目标模型前向传播中完成验证，无需修改模型与草稿器权重。该方法通过延迟测量自适应确定树宽度，在 5 个领域、3 代 GPU 和 2 个模型家族的 8 种设置中均优于标准链式解码，最高提速 43%。CAST 保持输出分布不变，代码已开源。
来源：arXiv 自然语言处理 · arxiv.org