arXiv 自然语言处理· Jiannan Guan, Youxin Jiang, Yutai Hou, Qiguang Chen, Yirong Zeng, Haitao Wang, Dengyun Peng, Zheng Yan, Jinhao Liu, Tao Ye, Dandan Tu, Wanxiang Che·· 5 小时前AI 评分34
ATI-OPD：面向长序列稳定在线策略知识蒸馏的自适应教师干预
ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation
AI 导读
研究人员提出 ATI-OPD 方法，通过修正学生模型的推理前缀，解决长序列在线策略知识蒸馏（OPD）中的训练不稳定问题。该方法用简短教师片段替换最早的高分歧片段并排除持续分歧后缀，有效减少了梯度尖峰与极端长序列。在 5 个数学推理基准和 2 组师生模型对测试中，ATI-OPD 相比标准 OPD 提升了学生模型的平均准确率。
来源：arXiv 自然语言处理 · arxiv.org