arXiv 自然语言处理· Manan Uppadhyay, Himanshu Beniwal, Prashant Kodali, Sunayana Sitaram·· 6 小时前AI 评分45
NLP 领域多语言上下文评测的现状与未来
The State and Fate of Multilingual, Contextual Evaluation in the NLP World
AI 导读
一项涵盖 51 个多语言 benchmark、242 个数据集和 219 种语言的审计研究显示，NLP 多语言评测面临覆盖失衡、代表性不足与基准污染等多重缺陷。其中 36% 的语言仅出现在单一 benchmark 中，56% 的数据集语言实例依赖英语翻译引入了中心化偏差，翻译泄漏等污染也严重削弱了评测严谨性。研究据此呼吁构建原生、植根文化且具备防污染意识的新型评测框架。
来源：arXiv 自然语言处理 · arxiv.org