Rel-Bloom基准测试揭示多语言LLM关系推理瓶颈
Start here
2026年11月5日，arXiv发表论文提出Rel-Bloom多语言关系推理基准，评估了43个大语言模型在非参数记忆上的推理能力。研究发现，开源权重模型从Apply到Analyze认知层级的准确率普遍出现骤降，且Evaluate层级成为各模型的共同瓶颈。测试显示，Large Granite的准确率降幅达47.2个百分点；Gemini 3.1 Pro在前四层认知平均准确率达99.5%，但在Evaluate层级骤降至60.7%。研究指出，更强的模型能力并不保证其具备可靠的证据推理能力。
AI-generated from reports · Updated 4 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理多语言 LLM 在非参数记忆上的推理：关系知识的认知分析
Rel-Bloom 基准评估了 43 个 LLM 的非参数关系推理能力，发现开源权重模型从 Apply 到 Analyze 层级准确率普遍骤降，且 Evaluate 成为共同瓶颈。其中 Large Granite 降幅达 47.2 个百分点，Gemini 3.1 Pro 在前四层平均达 99.5% 却在 Evaluate 骤降至 60.7%，表明更强模型能力并不保证可靠的证据推理。
Story heat trend
Current heat 9·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.