跳到正文
原文
arXiv 机器学习· Wen Ye, Ailin Deng, Zirui Wang, Shixing Yu, Han Zhang, Tian Yun, Nikhil Mehta, Tarun Kalluri, Xuefei Cao, Xuezhe Ma, Hengduo Li·· 7 小时前AI 评分34

编辑而非模仿:面向多模态推理的最小编辑在线策略蒸馏

Edit, Don't Imitate: Minimal-Edit On-Policy Distillation for Multimodal Reasoning

AI 导读

研究人员提出面向多模态推理的最小编辑纠正性在线策略蒸馏方法,让教师模型仅对错误生成中的特定 token 施加纠错损失,避免全回复模仿。该方法在正确生成上结合任务奖励强化学习,测试阶段无需图表描述即可达到或超越推理期输入参考描述的基座模型。该方案还提升了低层几何感知能力,并能迁移至外部数学和感知基准。

来源:arXiv 机器学习 · arxiv.org