错误投票与正确梯度：为什么多数投票奖励能追平可验证强化学习

多数投票奖励强化学习之所以能匹敌可验证奖励，核心在于跨提示词错误互不相干，单提示词梯度对自身改变贡献不足 1%，梯度误导随批次增大而消失。在 5 个模型上的测试显示，多数投票与黄金更新的去噪余弦相似度在误差内为 1，随机翻转高达 30% 标签仍能保持更新方向。决定自生成标签能否替代真实验证的关键是错误相干性而非错误率。