arXiv 自然语言处理· Mir Tafseer Nayeem, Davood Rafiei·· 4 小时前AI 评分41
谁的数据，谁的基准？审计 AI 评测资源的用户中心框架
Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources
AI 导读
研究人员提出一种以用户为中心的审计框架，用于审查 AI 评测基准在内容、元数据、文档与评分程序中的偏差。对 16 个资源的评估显示，11 个文本基准中以美国为中心的惯例占 62.4%-94.4%，且所有资源均未落实目标用户背景。成对评分实验进一步发现，保持语义不变的答案变体使 DROP 精确匹配准确率从 100.0% 降至 33.3%。
来源：arXiv 自然语言处理 · arxiv.org