arXiv 机器学习· Lianfa Li·· 10 小时前AI 评分28
用于大语言模型算术推理的贝尔曼一致轨迹强化学习
Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning
AI 导读
研究人员提出一种贝尔曼一致轨迹强化学习方法，通过轨迹贝尔曼残差最小化（TBRM）将大语言模型算术推理的稀疏奖励转化为密集 token 级信号。该框架结合 RLOO 分组策略与事后目标重标记，在稳定梯度方差方面显著优于 GRPO。
来源：arXiv 机器学习 · arxiv.org