arXiv 自然语言处理· Shuhao Li, Fanghua Ye, Wanyu Lin, Tianyu Yuan, Xiaoyu Shen·· 2 小时前AI 评分35
Nucleus Speculative Decoding：基于合理性感知的投机解码验证方法
Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution
AI 导读
研究人员提出投机解码方法 Nucleus Speculative Decoding（NSD），通过在草稿 token 满足标准规则或属于目标模型 nucleus 时予以接受，放宽了传统精确分布验证。实验表明，NSD 相比自回归解码实现最高 5.16x 的吞吐量加速，相比标准投机解码加速最高达 3.15x，同时保持了竞争力的任务表现。该研究代码已开源。
来源：arXiv 自然语言处理 · arxiv.org