研究揭示逆向KL策略蒸馏统计保证与极限

1. 12:00
   arXiv 机器学习

   Reverse-KL 策略蒸馏：统计保证与极限

   该研究探讨了语言模型中在线与离线 Reverse-KL 策略蒸馏的统计保证与样本复杂度。分析表明，在线蒸馏若教师仅反馈学生动作的概率需要显著更多数据，而离线蒸馏无论教师透露完整分布还是仅透露采样动作概率均可达到相同 minimax 速率。针对常规在线目标可能失效的问题，研究提出了轨迹损失与重要性比率截断技术以实现最优在线蒸馏保证。

当前热度 8·可比范围峰值 10（10月23日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。