研究揭示自蒸馏中点向前向KL截断的失效机制

2026年10月1日发表于arXiv的研究指出，在线策略自蒸馏（OPSD）中常用的点向前向 KL 截断机制存在失效动态。理论与实验分析表明，该截断机制会导致模型生成显著更多且持续至结尾的重复内容。研究证实，截断目标不仅无法将学生模型纠正至教师模型，反而会将 token 概率推离教师分布；在出现重复片段时，截断后的学生模型跳出重复的概率明显低于教师模型，且更倾向于继续重复。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。