推测解码中目标模型重生成会削弱草稿训练目标的收益

推测解码研究发现，在目标模型重生成回复后，针对草稿模型训练目标所带来的接受率增益会出现显著缩水。基于视觉语言目标模型与块草稿器的测试显示，重生成后 token 级蒸馏的增益明显减小，而验证门控蒸馏几乎无法带来额外收益。该缩水现象在多种解码温度、训练长度、自回归草稿器及纯文本实验中普遍存在，相关代码已开源。