跳到正文
原文
AITNT · AI头条(网页)·· 6 小时前AI 评分41

SpecTr-GBV 统一多草稿与块验证,加速大模型推测解码

EMNLP 2026 | 大模型推理如何再快一步?SpecTr-GBV统一多草稿与块验证,加速推测解码

AI 导读

研究团队提出推测解码框架 SpecTr-GBV,通过最优传输将多草稿(multi-draft)与贪婪块验证(GBV)统一,在保证输出分布一致性的同时最大化期望接受长度。在 DeepSeek-33B/1.3B 与 DeepSeek-6.7B/1.3B 配置下,该方法在 HumanEval、GSM8K 等五个评测数据集上均取得了更高的 Block Efficiency 与实际端到端加速比。

来源:AITNT · AI头条(网页) · aitntnews.com