arXiv 自然语言处理· Minh-Nam Tran, Abulhair Saparov·· 9 hours agoAI score51
研究提出 GraphNIAH 长上下文真实图推理基准
GraphNIAH: A Benchmark for Long-Context Reasoning over Real-World Graphs
Not yet translated; shown in Chinese.
AI guide
研究团队推出 GraphNIAH 评测基准,利用模型知识截止期后的真实论文引用关系自动化构建长上下文多跳问答,避免基准污染并贴近真实推理场景。对 GPT-5.6、Gemini-3 及 Qwen3.5 家族 8 款大语言模型的评测显示,当推理深度达到 16 和 32 时模型表现接近随机猜测,且半数模型在计数任务中完全出错。实验表明当前大语言模型往往在遍历完上下文所有关键关系前过早终止搜索。
Source:arXiv 自然语言处理 · arxiv.org