arXiv 自然语言处理· Zhengmian Hu, Tong Zheng, Vignesh Viswanathan, Ziyi Chen, Ryan A. Rossi, Yihan Wu, Dinesh Manocha, Heng Huang·· 10 時間前AI スコア36
迈向最优多草稿推测解码
Towards Optimal Multi-draft Speculative Decoding
未翻訳のため中国語で表示しています。
AI ガイド
研究人员通过分析最优传输问题的对偶问题,提出了一种高效计算多草稿推测解码(MDSD)最优接受率的方法。该研究首次针对数千量级词表规模测算了 MDSD 效率的理论上限,并量化了现有验证算法与该上限的差距。结果表明不放回草稿采样优于有放回采样,且现有验证算法在两类采样下均未达到理论上限。
出典:arXiv 自然语言处理 · arxiv.org