研究提出基于局部信任域优化的在线蒸馏Token加权方法FUW

2026年10月15日，相关研究人员在arXiv发布成果，提出一种基于局部信任域优化导出token效用的在线知识蒸馏方法，并将其具体实现为连续均值归一化权重机制FUW。实验在7个数学推理基准以及3对千问（Qwen3）学生-教师模型对上进行评测。结果表明，相比均匀在线蒸馏，FUW在reverse-KL散度下实现了1.35至4.0个宏观百分点的提升，在forward-KL散度下取得了1.08至2.71个宏观百分点的提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。