AIDC
← 返回全部动态
arXiv 自然语言处理AI 评分 72/10009月29日 12:00

LLM 裁判偏差研究：后训练使模型写作更可预测，但作为裁判的品味保持稳定

该研究探讨了“大模型作为裁判”（LLM-as-a-judge）在自动化评估中的偏见问题。研究人员追踪了 OLMo-2 和 Zephyr（均为 7B 参数）在公开后训练各阶段的表现，分别评估其作为故事创作者与裁判的行为。结果发现，尽管后训练确实使模型自身生成的文本更具可预测性，但当其扮演裁判时，其审美偏好并未相应倒向可预测的写作，表明自动化评估仍能有效识别创造力进展。

推荐理由深入探讨了大模型作为裁判的后训练偏差机制，为 LLM 自动化评测的可靠性提供了实证支持。

原标题：The Judge Is Not Its Twin: Post-training makes a model's writing more predictable but barely moves its taste, as a judge, toward predictable writing

# 评测# 大模型# 对齐# 前沿研究# 自然语言处理
阅读 arXiv 自然语言处理 原文 ↗

同一事件的其他来源

arXiv 人工智能09月28日 12:00

BAER：面向鲁棒成对大模型裁判的骨干自适应证据路由方法

成对大模型评估（LLM-as-a-Judge）可通过直接对比、推理或基于参考的验证来收集证据，但单一协议难以兼顾不同基准和骨干模型。该研究提出骨干自适应证据路由机制 BAER。BAER 在保留候选对称性的前提下自适应调整证据生成机制，将专家的带符号偏好与候选不变的可靠性分离，并构建了证据堆叠、基于可靠性的专家路由及候选盲参考等对称头，从而提升评测的一致性与鲁棒性。