论 RLVR 训练中的首因偏差

新研究揭示大语言模型在 RLVR 训练中存在首因偏差，混合数据训练会不成比例地强化简单问题，而在难题上仅产生微小收益。分析表明难题虽最有助于拓展推理能力与表征边界，但长时间专攻难题会导致简单问题发生遗忘。该发现解释了 RLVR 在基座模型较弱的 OOD 领域能扩展推理能力，而在充分训练领域遗忘会掩盖真实收益的现象。