研究团队提出P^2-MOPD多教师在线策略蒸馏方法

1. 13:00
   arXiv 机器学习

   P$^2$-MOPD：利用参数先验加速多教师在线策略蒸馏

   研究人员提出 P$^2$-MOPD 方法，将学生与专家参数的线性组合视为可微模型，在在线策略蒸馏目标下联合优化混合系数与学生权重。在 1.7B 和 4B 规模的 4 个领域测试中，该方法仅用一半训练步数便超越 MOPD 的最终平均恢复率。训练结束时，其 1.7B 模型平均恢复率达到 94.7%，高于 MOPD 的 80.9%。

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.