arXiv 机器学习· Sirui Chen, Yunzhe Qi, Haobo Xu, Jiaru Zou, Mengting Ai, Zihao Li, Jingrui He·· 6 小时前AI 评分40
为在线策略蒸馏提出更优 Rollout 策略
Proposing Better Rollouts for On-Policy Distillation
AI 导读
针对在线策略蒸馏(OPD)中的师生分布不匹配问题,研究提出 MPOPD,将 Rollout 策略本身作为优化目标并构建师生几何混合分布。该方法利用提议策略实现单次前向传播生成采样轨迹,在 16 个数学、知识与医学推理基准上超越 OPD。在 Qwen3-4B-Base 模型的数学推理测试中,其平均准确率较 OPD 提升 6.91,平均生成长度缩短 41%。
来源:arXiv 机器学习 · arxiv.org