研究揭示推测解码中目标重生成削弱草稿训练增益

2026年10月22日，arXiv发布的一项推测解码研究指出，在目标模型重生成回复后，针对草稿模型训练目标所带来的接受率增益会出现显著缩水。基于视觉语言目标模型与块草稿器的测试显示，重生成后token级蒸馏的增益明显减小，而验证门控蒸馏几乎无法带来额外收益。实验表明，该缩水现象在多种解码温度、训练长度、自回归草稿器以及纯文本实验中均普遍存在。目前，相关研究代码已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。