arXiv 自然语言处理· Guanzhi Deng, Zengyan Liu, Haibo Wang, Kuan Wu, Shing Yin Wong, Sichun Luo, Zhuoran Wang, Linqi Song·· 2 小时前AI 评分42
强 MoE 模型足以实现过程监督
A Strong MoE Is All You Need for Process Supervision
AI 导读
研究发现 MoE 模型的专家路由机制能提供内生过程置信度信号，可直接用于多步推理的过程监督。基于路由置信度，研究团队提出了能识别低置信步骤并选择性重新生成轨迹的 RoCo-Rethink，以及自动标注步骤并蒸馏为独立 PRM 的 RoCo-PRM。实验表明两者在多种 MoE 架构与推理任务中均优于强基线，且具备出色的跨架构和跨任务迁移能力。
来源：arXiv 自然语言处理 · arxiv.org