研究团队提出在线蒸馏算法D²-OPD

1. 13:00
   arXiv 机器学习

   $D^2$-OPD：在外推式同策略蒸馏中解耦方向与距离

   研究团队提出 $D^2$-OPD，在外推式同策略蒸馏中解耦外推方向与距离，通过每前缀硬 KL 约束限制目标与教师模型的距离。该方法自适应确定外推方向，并采用前向 KL 为低概率 token 提供学习信号。在数学推理基准的全部三种设置中，$D^2$-OPD 均取得最高分，相比最强基线最高提升 9.45 分。

Current heat 7·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.