arXiv 机器学习· Minchan Kim, Sungho Bae, Youngjin Kim, Hyunwoo Park·· 7 小时前AI 评分34
从何处开始与如何推进：面向长流程 LLM 智能体的 GRPO 课程学习机制分析
Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents
AI 导读
针对长流程多轮交互中 GRPO 早期全失败导致缺乏奖励信号的问题，研究分析了通过回放成功前缀进行辅助训练的起始位置、交接单元与移动规则。实验表明在 BFCL 基准的 3 种模型规模下，采用固定轮次阈值规则并在接近任务完成处启动训练更为有效，结合结果信息的工具调用选择表现超越原生 GRPO。该引导式启动方法还在 AppWorld 的两个评估子集上均提升了任务成功率。
来源：arXiv 机器学习 · arxiv.org