跳到正文
热点事件持续更新

研究者提出核投机解码方法NSD并开源代码

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月7日,研究人员提出了一种名为 Nucleus Speculative Decoding(NSD)的合理性感知投机解码验证方法。该方法放宽了传统的精确分布验证要求,只要草稿 token 满足标准规则或属于目标模型的 nucleus 集合即可被接受。实验表明,NSD 在保持具有竞争力的任务表现的同时,相比自回归解码实现了最高 5.16 倍的吞吐量加速,相比标准投机解码加速最高达 3.15 倍。该研究的相关代码已公开发布并开源。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv 自然语言处理
    Nucleus Speculative Decoding:基于合理性感知的投机解码验证方法

    研究人员提出投机解码方法 Nucleus Speculative Decoding(NSD),通过在草稿 token 满足标准规则或属于目标模型 nucleus 时予以接受,放宽了传统精确分布验证。实验表明,NSD 相比自回归解码实现最高 5.16x 的吞吐量加速,相比标准投机解码加速最高达 3.15x,同时保持了竞争力的任务表现。该研究代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。