跳到正文
热点事件持续更新

研究团队提出Token级教师选择On-Policy蒸馏框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月16日,相关研究者在arXiv发表论文,提出了一个用于On-Policy知识蒸馏(OPD)的Token级教师选择框架。该框架打破了以往每个rollout仅使用单一教师的限制,综合考量了师生推理模式兼容性、教师能力以及学生多样性,并构建了多种教师路由方案。实验结果表明,在数学、编程、kernel生成和视觉推理等领域,该方法在特定任务上的pass@k相比原生OPD及专家教师提升超过10个百分点。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv 机器学习
    兼容性至关重要:On-Policy 知识蒸馏中的 token 级教师选择框架

    研究者提出了一个用于 on-policy 知识蒸馏(OPD)的 token 级教师选择框架,打破了以往每个 rollout 仅使用单一教师的限制。该框架综合考量师生推理模式兼容性、教师能力及学生多样性,并构建了多种教师路由方案。实验表明,在数学、编程、kernel 生成和视觉推理等领域,该方法在特定任务上的 pass@k 相比原生 OPD 及专家教师提升超过 10 个百分点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。