arXiv 机器学习· Khouloud Saadi, Di Wang·· 8 小时前AI 评分35
一师多视角：降低同策略自蒸馏对参考解的敏感度
One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation
AI 导读
研究人员针对同策略自蒸馏（OPSD）中全参考解导致的参考解引发目标不稳定性问题，提出了蒙特卡洛特权蒸馏（MCPD）。该方法将特权上下文建模为部分参考视角的分布，在多个视角下评估教师模型并平均其生成的下一个 token 分布，从而蒸馏边缘教师分布。在数学和科学推理基准测试中，MCPD 提供了更具参考一致性的监督信号，表现持续优于传统的全参考 OPSD。
来源：arXiv 机器学习 · arxiv.org