arXiv 机器学习· Sinuo Wang, Jiacheng Lu, Zeyu Zhang, Maojia Song, Rui Sun, Beidi Luan, Yutong Xie, Jing Li, Daxin Jiang, Qi Wu, Zuo Bai·· 11 小时前AI 评分34
P$^2$-MOPD：利用参数先验加速多教师在线策略蒸馏
P$^2$-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors
AI 导读
研究人员提出 P$^2$-MOPD 方法，将学生与专家参数的线性组合视为可微模型，在在线策略蒸馏目标下联合优化混合系数与学生权重。在 1.7B 和 4B 规模的 4 个领域测试中，该方法仅用一半训练步数便超越 MOPD 的最终平均恢复率。训练结束时，其 1.7B 模型平均恢复率达到 94.7%，高于 MOPD 的 80.9%。
来源：arXiv 机器学习 · arxiv.org