arXiv 自然语言处理· Ajwad Abrar, Md Kamrul Hasan, Hasan Mahmud·· 8 小时前AI 评分30
孟加拉语敬语分配偏差反事实评测基准研究：谁获得了尊重？
Who Receives Respect? A Counterfactual Benchmark for Honorific Allocation Bias in Bengali
AI 导读
研究人员构建了包含 72 种职业、2,016 个句子的反事实评测集，用于衡量大语言模型在英语至孟加拉语翻译中的敬语分配偏差。评测采用 0-100 分的 Honorific Bias Score（HBS），9 款受测模型的得分介于 19.9 至 70.1 之间。结果显示职业因素主导了敬语选择（关联 3.2% 至 51.5% 的语域方差），而性别影响极小（最多仅占 1.2%）。
来源：arXiv 自然语言处理 · arxiv.org