arXiv论文揭示无标签评估盲点：模型高一致性答案中60%存在错误

arXiv新论文直接检验了无标签评估中将一致性作为正确性替代指标的假设，发现在高一致性区域内仍有60%的答案是错误的。在四个金融问答数据集与两个前沿模型族的测试中，这些高一致性错误答案中有77.7%表现为完全坍塌，即所有扰动变体均给出相同的错误答案。该现象在不同一致性阈值下均稳定存在，表明仅依赖一致性的评估机制无法识别模型高度一致但实际错误的盲区。