研究人员推出孟加拉语宗教文献评测基准BILAL-BENCH
Start here
2026年11月，研究人员发布了BILAL-BENCH评测基准，包含240道经专家验证的问题，专门用于评估大语言模型在孟加拉语环境下伪造伊斯兰文献的行为。研究人员对7款参数量在1B至120B之间的开源大模型进行了测试，并对1,680份回答实施了双重标注。结果显示，其中6款模型在文献生成任务中的自信伪造率高达79.3%至95.3%，且该伪造行为未随模型规模增大而单调改善。各项任务中，圣训出处的准确性表现最差，在315份相关回答中，仅有2份做到内容正确且来源标注准确。
AI-generated from reports · Updated 10 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理开源语言模型会捏造经文吗？BILAL-BENCH 孟加拉语伊斯兰文献伪造评测
研究人员推出包含 240 道专家验证问题的 BILAL-BENCH 评测基准，用于评估大语言模型在孟加拉语中伪造伊斯兰文献的行为。对 7 款 1B 至 120B 参数开源模型的 1,680 份双重标注回答评测显示，6 款模型在文献生成题目中的自信伪造率达 79.3% 至 95.3%，且未随模型规模增大而单调改善。其中圣训出处表现最差，315 份回答中仅有 2 份正确且来源准确。
Story heat trend
Current heat 8·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.