arXiv 自然语言处理· Klaudia-Doris Thellmann, Bernhard Stadler, Dan Saattrup Nielsen, Michael F\"arber, Jens Lehmann·· 6 小时前AI 评分37
原生还是翻译评测：翻译基准测的究竟是语言、知识还是本土性？
Gold vs.~Translation: Are We Measuring Language, Knowledge, or Locality in Translated Benchmarks?
AI 导读
研究对比 DeepL 翻译的 MMLU 与 5 种北欧及波罗的海语言的 6 个原生评测基准，在 7 个配对上评测 29 个大语言模型，检验翻译基准的代理有效性。结果显示翻译基准在课程重合度高的 Skolprov 上具有显著预测增量（ΔR²=.128），但在瑞典本土事实 SwedishFacts 上无显著增量（p=.242）。这表明翻译基准在内容重合时能较好代理原生评测，但难以可靠捕捉本土知识。
来源：arXiv 自然语言处理 · arxiv.org