arXiv 机器学习· Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·2026-10-12 12:00· 5 小时前AI 评分38

广义近端策略优化（GPPO）：从散度视角统一大语言模型强化学习算法

Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence

AI 导读

研究人员提出广义近端策略优化（GPPO），从散度视角构建起统一的大语言模型强化学习框架，并将 PPO、DAPO、DPPO 与 RIPO 纳为特例。该框架建立了具有单调性能提升保证的广义 $f$-散度置信区间理论，并引入新型估计器拓扑以提供更准确的散度估计。

来源：arXiv 机器学习 · arxiv.org