热点事件持续更新
研究者提出成本感知投机树CAST加速LLM推理
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月2日，研究人员在arXiv发布论文，提出名为CAST（成本感知投机树）的投机解码方法。该方法将单次前向块草稿器生成的候选token打包为树结构，并在单次目标模型前向传播中完成验证，无需修改模型与草稿器权重。CAST通过延迟测量自适应确定树宽度，在保持输出分布不变的前提下，于5个领域、3代GPU和2个模型家族的8种设置中均优于标准链式解码，最高可实现43%的推理提速。目前，CAST相关代码已开源。
AI 根据报道生成 · 3 小时前更新
最新进展10月2日 12:00
研究人员提出投机解码方法CAST，最高提速43%且已开源代码。报道时间线
沿着报道，了解事件的不同侧面。
10月2日
- arXiv 自然语言处理CAST：基于单次前向块草稿器的成本感知投机树
研究人员提出 CAST（成本感知投机树），将单次前向块草稿器生成的候选 token 打包为树并在单次目标模型前向传播中完成验证，无需修改模型与草稿器权重。该方法通过延迟测量自适应确定树宽度，在 5 个领域、3 代 GPU 和 2 个模型家族的 8 种设置中均优于标准链式解码，最高提速 43%。CAST 保持输出分布不变，代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。