arXiv 机器学习· Bangji Yang, Hongbo Ma, Ruihan Guo, Jiajun Fan, Xi Zhu, Ge Liu·· 6 小时前AI 评分37
批量上下文强化 II：RLVR 真的需要长采样窗口吗？
Batched Contextual Reinforcement II: Does RLVR Need Long Rollout Windows?
AI 导读
研究人员提出并发约束强化（CCR），将 3 个独立可验证问题置于单次训练补全中，通过共享预算促使模型产生更短推理，摆脱 RLVR 对长采样窗口的依赖。相比 32k 窗口的单问题 GRPO，采用 8,000-token 窗口的 CCR 在 4B 模型上将每训练步 token 数减少 82.1%，在 8B 模型上减少 79.1%，并保持了推理质量。
来源：arXiv 机器学习 · arxiv.org