arXiv 机器学习· Stanley Wei, Jiin Woo, Kaan Ozkara, Youngsuk Park·· 9 小时前AI 评分33
兼容性至关重要：On-Policy 知识蒸馏中的 token 级教师选择框架
Compatibility Matters: A Framework for Token-Level Teacher Selection in On-Policy Distillation
AI 导读
研究者提出了一个用于 on-policy 知识蒸馏（OPD）的 token 级教师选择框架，打破了以往每个 rollout 仅使用单一教师的限制。该框架综合考量师生推理模式兼容性、教师能力及学生多样性，并构建了多种教师路由方案。实验表明，在数学、编程、kernel 生成和视觉推理等领域，该方法在特定任务上的 pass@k 相比原生 OPD 及专家教师提升超过 10 个百分点。
来源：arXiv 机器学习 · arxiv.org