arXiv 机器学习· Yi Wang, Rui Qian, Yu Li, Haoyang Yao, Wenjie Wang·· 8 小时前AI 评分37
LoopOPD：面向循环大语言模型的动态跨循环同策略蒸馏
Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models
AI 导读
研究团队提出面向循环大语言模型（LoopLMs）的同策略蒸馏框架 LoopOPD 及动态版本 D-LoopOPD，利用内部循环计算作为监督源实现自我提升。LoopOPD 将终端循环策略作为算力特权教师监督中间循环，并在更新中动态刷新教师。在 Ouro-Thinking 模型上的实验表明，该方法显著提升了数学推理、通用推理与代码生成表现；代码及权重将在接收后开源。
来源：arXiv 机器学习 · arxiv.org