arXiv 自然语言处理· Haojin Wang, Dylan Zhang, Huaibo Chen, Suhao Yu, Yihang Sun, Zhanyang Jin, Jiaying Ye, Dianqi Li, Prasanna Sattigeri, Kamal Youcef-Toumi, Hao Peng·· 1 天前AI 评分44
OLIVE：在学生状态下从教师续写中学习的在线大语言模型蒸馏方法
Learning from Teacher Continuations at Student States
AI 导读
研究团队提出在线大语言模型蒸馏方法 OLIVE，通过让学生模型生成前缀、教师模型自回归续写并基于交叉熵更新学生模型。该方法的异步实现将总训练时间减少 23.8%，在硬推理与智能体任务中表现均优于 OPD 等现有蒸馏方案。仅使用 GPT-5.4-mini 文本持续训练时，OLIVE 在 ScienceWorld 上的表现比离线 SFT 提升 13%。
来源：arXiv 自然语言处理 · arxiv.org