跳到正文
原文
arXiv 人工智能· Sheldon Yu, Tong Yu, Nikki Lijing Kuang, Zhendong Chu, Zhenwei Tang, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu·· 9 小时前AI 评分40

RSHD:通过回放筛选后视蒸馏从失败尝试中恢复监督信号

Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight

AI 导读

研究者提出回放筛选后视蒸馏(RSHD),在 GRPO 训练中将失败尝试转化为经过验证的新监督来源,解决全部 rollout 失败时无法提供有效学习信号的问题。策略在不看参考答案的情况下为失败生成纠错笔记并在上下文中重新解题,仅当回放成功率更高时才将成功回放蒸馏回无提示词的基础策略。该方法在部署时无需额外笔记或推理开销,跨模型和训练领域一致优于 GRPO。

来源:arXiv 人工智能 · arxiv.org