面向扩散草稿模型的 Multi-Draft On-Policy Distillation

研究者提出 Multi-Draft On-Policy Distillation（MDraft），针对投机解码中的单步扩散草稿模型优化策略内蒸馏训练。该方法从相同上下文采样多个草稿块，并跨前缀聚合验证器的全词表条件分布，有效缓解了独立预测带来的分布失配问题。MDraft 无需改动模型架构与推理流程，在数学、编程和对话任务中均实现了优于先前蒸馏方法的草稿接受长度。