arXiv 自然语言处理· Sumit Anthony Gomes, Yasin Rahman, Taeeba Tasnia, Faiza Nooren Suhita·· 4 小时前AI 评分31
BanglaBBQ:针对孟加拉国语境的问答偏见评测基准
BanglaBBQ: A Bias Benchmark for Question Answering in the Bangladeshi Context
AI 导读
研究者推出针对孟加拉国语境的双语问答偏见评测基准 BanglaBBQ,包含 140 个适配 BBQ 的模板与 372 个新增本土化模板。评测显示,在歧义语境下,Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四款模型在孟加拉语和英语中均偏向刻板印象人群。闭源模型在反刻板印象证据下表现更佳,且英语测试结果无法直接预测孟加拉语表现。
来源:arXiv 自然语言处理 · arxiv.org