arXiv 自然语言处理· Hyunjong Ok, Minjae Park, Jaeho Lee·· 7 小时前AI 评分36
一个偏差分数与两个因素：缓解策略如何影响多选题评测中的选项偏差
One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation
AI 导读
研究提出了合并选择率标准差（pooled SD）指标，并证明其由翻转率（flip rate）与位置偏斜度（positional skew）两个无标签因素相乘决定。在 41 个模型检查点和 12 个基准上的测试表明，先验校正主要降低位置偏斜度，而聚合反向排序主要降低翻转率，但聚合也会因使题目固定在相同错误选项而降低翻转率。研究建议同时报告这两个因素与准确率，以区分缓解效果及稳定性与正确性。
来源：arXiv 自然语言处理 · arxiv.org