arXiv 自然语言处理· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 9 小时前AI 评分40
面向投机解码的并行草稿上下文纠错
Contextual Correction of Parallel Draftsfor Speculative Decoding
AI 导读
研究提出轻量机制 DCOCO（DFlash Contextual Corrector），通过并行评估候选 token 上下文兼容性，在保留并行草稿的同时恢复块内依赖。在 4 个验证器骨干与 10 个基准测试中，DCOCO 相比原生解码实现最高 6.6x 加速并取得最高平均吞吐量。在 4-32 个并发请求下，其表现比最强竞品高出 6-23%。
来源：arXiv 自然语言处理 · arxiv.org