研究提出基于子群偏移的GRPO基线调整方法
Start here
针对GRPO算法中全局基线难以兼顾异质子群差异的痛点，2026年11月3日arXiv刊载的研究提出了一种基于子群均值与全局均值偏移量的基线调整方案。该方法引入带符号系数，在不改变奖励信号与优化目标的前提下，衍生出强化子群内相对表现的“对齐”与强化子群相对质量的“对比”两个调整方向。在Qwen3-8B-Base和Olmo3-7B-Base两个模型及4个竞赛级数学基准测试的实验中，两种调整方向均稳定提升了多样本覆盖率，其中对比方向展现出更强的优化效果。
AI-generated from reports · Updated 1 day ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能一个偏移，两个方向：基于子群偏移的基线调整
针对 GRPO 全局基线无法兼顾异质子群差异的问题，研究提出基于子群均值与全局均值的偏移量来调整基线。该方案引入带符号系数衍生出对齐（强化子群内相对表现）与对比（强化子群相对质量）两个方向，且不改变奖励信号与优化目标。在 Qwen3-8B-Base 与 Olmo3-7B-Base 的 4 个竞赛级数学基准测试中，两方向均稳定提升了多样本覆盖率，其中对比方向效果更强。
Story heat trend
Current heat 3·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours-51%
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.