arXiv 机器学习· Zhen-Yu Zhang, Jiandong Zhang, Huaxiu Yao, Gang Niu, Masashi Sugiyama·· 16 時間前AI スコア34
数据集不匹配对可验证奖励强化学习中的 GRPO 至关重要
Dataset Mismatch Matters in Group Relative Policy Optimization for Reinforcement Learning from Verifiable Rewards
未翻訳のため中国語で表示しています。
AI ガイド
针对源训练集与目标测试集分布不一致的问题，研究提出将目标端性能反馈引入 GRPO 的重加权采样方法 L2RR（learning-to-reweight rollout）。该方法通过双层优化目标学习源提示词的离散采样分布，在最大化保留目标集准确率的同时惩罚增量信息较低的采样。在 6 个数学推理基准和 3 种模型规模上的实验表明，L2RR 提升了目标域性能并提高了采样效率。
出典：arXiv 机器学习 · arxiv.org