arXiv 自然语言处理· Yusheng Zhou, Eleanor Lin, David Jurgens·· 1 天前AI 评分50
论文揭示非母语英语对大语言模型回答质量的影响机制
Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
AI 导读
arXiv 论文提出受控数据集 FABLE 并评测了 34 款开源大语言模型，系统测量非母语英语对最终回答质量的影响。该数据集基于 17.4 万条真实写作任务提示词衍生出 190,911 个 prompt 变体。评测发现大模型不会传播拼写错误等表面瑕疵，但会镜像反映提示词中更高层级的修辞和词汇特征，导致非母语使用者获得的回答质量和流畅度显著偏低。
来源：arXiv 自然语言处理 · arxiv.org