用于可验证奖励离线强化学习的 Gibbs-Gap 策略优化（GGPO）

研究人员提出 Gibbs-Gap Policy Optimization（GGPO），无需学习器到行为策略的重要性权重，即可解决带有可验证奖励的离线强化学习长回复高方差问题。消融实验显示，采用默认参考策略刷新调度的 GGPO 在五项基准问题加权平均分达 46.58，远高于固定参考的 32.96。在数学推理实验中，GGPO 在训练与推理不匹配及固定离线数据场景下均优于 GRPO 和 AGRO。