二值化会压平评分空间

研究发现将 LLM 裁判奖励简化为通过/失败（{0, 1}）二值化判决会压平评分空间，导致策略模型在不改变判决的情况下产生不可见的尺度拉伸。在 MATH 和 SciBench 测试中，改用三档评分（如 {0, 0.5, 1}）可有效消除仿射拉伸盲区，在 1.5x 压力下检定力至少达 96.5%。作者建议评估至少保留三档等级并结合外部验证，以防范阿谀奉承式的虚假能力提升。