arXiv 机器学习· Narayanan Sadagopan, Yilan Chen, Vijay Lingam·· 5 小时前AI 评分33
基于局部信任域优化的在线蒸馏 Token 效用方法
Token Utility for On-Policy Distillation via Local Trust-Region Optimization
AI 导读
研究人员提出基于局部信任域优化导出 token 效用的在线知识蒸馏方法，并将其实现为连续均值归一化权重机制 FUW。在 7 个数学推理基准和 3 对千问（Qwen3）学生-教师模型对上，FUW 在 reverse-KL 下相比均匀在线蒸馏提升 1.35-4.0 个宏观百分点，在 forward-KL 下提升 1.08-2.71 个宏观百分点。
来源：arXiv 机器学习 · arxiv.org