arXiv 机器学习· Xuyang Zhong, Jiuding Yang, Yiwen Guo, Chen Liu·· 7 小时前AI 评分35
MOER：基于专家前缀引导与选择性回滚的混合策略优化框架
MOER: Mix-Policy Optimization under Expert Prefix Guidance with Selective Rollback
AI 导读
MOER 是一种平衡专家引导与自主探索的混合策略优化框架，通过在提示词中注入逐渐衰减的专家思维链前缀引导模型推理。其引入选择性回滚机制在生成失败时替换为完整专家轨迹以确保正确性，并结合 GRPO 与置信域 SFT 损失大幅稳定训练。实验表明 MOER 在数学和通用领域推理任务中取得最高平均分，优于现有各类混合策略基线，代码已开源。
来源：arXiv 机器学习 · arxiv.org