arXiv 自然语言处理· Sabah Nushra, Md Kishor Morol·· 16 hours agoAI score35
开源语言模型会捏造经文吗？BILAL-BENCH 孟加拉语伊斯兰文献伪造评测
Do Open Language Models Invent Scripture? BILAL-BENCH: Benchmarking Islamic-Source Fabrication in Bengali
Not yet translated; shown in Chinese.
AI guide
研究人员推出包含 240 道专家验证问题的 BILAL-BENCH 评测基准，用于评估大语言模型在孟加拉语中伪造伊斯兰文献的行为。对 7 款 1B 至 120B 参数开源模型的 1,680 份双重标注回答评测显示，6 款模型在文献生成题目中的自信伪造率达 79.3% 至 95.3%，且未随模型规模增大而单调改善。其中圣训出处表现最差，315 份回答中仅有 2 份正确且来源准确。
Source:arXiv 自然语言处理 · arxiv.org