arXiv 自然语言处理· Mateusz Modrzejewski, Tomasz Radzikowski·2026-10-23 12:00· 8 小时前AI 评分37

成对评估遗漏了什么：跨提示词的奖励模型得分

What Pairwise Evaluation Misses: Reward Scores across Prompts

AI 导读

成对评估因仅比较同一提示词下的回复，会忽略跨提示词共享的奖励模型打分分量。研究针对 18 个已发布打分模型进行审计，发现其在 HelpSteer2 上的提示词间方差占比达 0.34 至 0.64，远高于人类接近零的水平。研究建议未来奖励模型评测应独立检验跨提示词变异、错误提示词敏感度及筛选可用性。