arXiv 自然语言处理· Ancil Crayton·· 9 小时前AI 评分36
交互式 LLM 评测中为何整体准确率会产生误导：需验证对比本身而非仅评分器
Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation
AI 导读
交互式 LLM 评测中自动评分器的高整体准确率或 F1 会掩盖特定提示词下的评分偏差，导致模型对比结论失真甚至方向颠倒。在涵盖 6 个模型与 6 种提示词条件的测试中，即便评分器整体 F1 达 0.916，特定提示词下的误标率仍在 2.6%-33.3% 之间，使一项看似 9.3 点的差异在评估员复核后缩减至 2.3 点。
来源：arXiv 自然语言处理 · arxiv.org