Google Research：构建更好的 AI 评测基准需要多少名标注员？

Google Research 的研究表明，AI 评测常用的单样本 1 至 5 名标注员标准不足以捕捉人类真实分歧，通常需要 10 名以上标注员才能保证可靠性。团队在 GitHub 开源了评估模拟器，证实依据评测指标合理权衡样本量与标注人数后，仅需约 1,000 次总标注量即可达成高复现性。