研究深入对比策略外与策略内知识蒸馏机制差异

1. 12:00
   arXiv 机器学习

   理解策略外与策略内知识蒸馏：不同训练目标之辨

   该研究深入对比了多教师顺序知识蒸馏中策略外与策略内知识蒸馏（OPD）的机制差异。研究证明前向与反向 KL 散度分别对应加权算术与几何聚合目标，在表格设定下建立了对数遗憾界。分析表明反向 KL 能更好保留高置信度专家的偏好，但对赋予正确响应极低概率的教师更敏感，且在长视界下可能倾向错误前缀。

当前热度 9·可比范围峰值 10（10月1日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。