arXiv 机器学习· Zhicheng Cai, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 9 小时前AI 评分36
轨迹感知策略优化（TAPO）：缩小长程 LLM 强化学习中的状态分布差距
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
AI 导读
针对长程自回归推演引起的状态分布偏移与训练崩溃，研究人员提出轨迹感知策略优化（TAPO）框架。该方法理论推导了状态分布修正并将其融入强化学习目标，同时采用几何平均估计器降方差与长度感知动态裁剪。在 8 个竞赛级基准上，TAPO 相比 GRPO 在数学推理和算法编程中分别实现最高 48% 和 12% 的提升，训练稳定性显著提高。
来源：arXiv 机器学习 · arxiv.org