Reverse-KL 策略蒸馏：统计保证与极限

该研究探讨了语言模型中在线与离线 Reverse-KL 策略蒸馏的统计保证与样本复杂度。分析表明，在线蒸馏若教师仅反馈学生动作的概率需要显著更多数据，而离线蒸馏无论教师透露完整分布还是仅透露采样动作概率均可达到相同 minimax 速率。针对常规在线目标可能失效的问题，研究提出了轨迹损失与重要性比率截断技术以实现最优在线蒸馏保证。