研究揭示大语言模型RLVR训练中的首因偏差现象
Start here
2026年11月4日发表在arXiv上的一项新研究揭示，大语言模型在RLVR训练中存在首因偏差。研究指出，采用混合数据进行训练时，模型会不成比例地强化简单问题，而在难题上仅产生微小收益。分析表明，难题虽然最有助于拓展模型的推理能力与表征边界，但长时间专攻难题会导致模型对简单问题发生遗忘。这一发现解释了RLVR在基座模型较弱的分布外（OOD）领域能够扩展推理能力，而在充分训练的领域中，遗忘现象会掩盖其真实收益。
AI-generated from reports · Updated 15 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能论 RLVR 训练中的首因偏差
新研究揭示大语言模型在 RLVR 训练中存在首因偏差，混合数据训练会不成比例地强化简单问题，而在难题上仅产生微小收益。分析表明难题虽最有助于拓展推理能力与表征边界，但长时间专攻难题会导致简单问题发生遗忘。该发现解释了 RLVR 在基座模型较弱的 OOD 领域能扩展推理能力，而在充分训练领域遗忘会掩盖真实收益的现象。
Story heat trend
Current heat 7·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.