arXiv 自然语言处理· Zainab Afolabi, Nikita Kozodoi, Jack Butler, Babs Khalidson·· 8 時間前AI スコア35
NaijaFacts：解耦尼日利亚事实中语言与知识的评估框架
NaijaFacts: A Framework for Disentangling Language from Knowledge in Facts about Nigeria
未翻訳のため中国語で表示しています。
AI ガイド
研究团队推出评测尼日利亚事实与统计问题的基准 NaijaFacts，涵盖英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语。对 8 款前沿及本土适配模型的测试表明知识缺失是主因，英美问题的英语查询准确率为 49-50%，而尼日利亚仅 20%。最强模型在尼日利亚统计题上准确率均未超 31%，扩展至非洲 54 国后统计知识准确率同样仅 26%。
出典：arXiv 自然语言处理 · arxiv.org