生成式奖励模型的缩放定律

在 0.6B 至 14B 的 Qwen3 生成式奖励模型实验中，GRPO 训练的 Thinking 裁判静态准确率更高，但在在线 DPO 训练中往往被 SFT 训练的 Answer-Only 裁判反超。在 32B 评估器下，Answer-Only 在 8 组设置中有 7 组取得更高策略 Elo；同时增大奖励模型容量收益显著，表明评判准确率并不决定下游优化质量。