跳到正文
原文
arXiv 自然语言处理· Zhengmian Hu, Tong Zheng, Vignesh Viswanathan, Ziyi Chen, Ryan A. Rossi, Yihan Wu, Dinesh Manocha, Heng Huang·· 11 小时前AI 评分36

迈向最优多草稿推测解码

Towards Optimal Multi-draft Speculative Decoding

AI 导读

研究人员通过分析最优传输问题的对偶问题,提出了一种高效计算多草稿推测解码(MDSD)最优接受率的方法。该研究首次针对数千量级词表规模测算了 MDSD 效率的理论上限,并量化了现有验证算法与该上限的差距。结果表明不放回草稿采样优于有放回采样,且现有验证算法在两类采样下均未达到理论上限。

来源:arXiv 自然语言处理 · arxiv.org