跳到正文
原文
arXiv 自然语言处理· Yang Liu, Ran Zou, Zhengtao Gui, Chao Xue·· 6 小时前AI 评分35

结合自动评分的人工评测:拆解采样与估计增益

Human Evaluation with Automatic Scores: Separating Sampling and Estimation Gains

AI 导读

一项针对三个偏好数据集与19个属性问答系统的评测研究表明,基于分数分层的比例采样加分层人工均值是最稳健的基础流程。在十区间分层下,最佳固定局部线性修正仅能将 MSE 额外降低 1.00%–5.27%。收缩配额等复杂策略的普通 95% 区间覆盖率仅为 88.09%–93.54%,且个体 MSE 下降未必能提升系统排序效果。

来源:arXiv 自然语言处理 · arxiv.org