研究团队推出长上下文图推理基准GraphNIAH
Start here
2026年11月2日,研究团队推出GraphNIAH长上下文真实图推理评测基准。该基准利用模型知识截止期后的真实论文引用关系,自动化构建长上下文多跳问答,旨在避免基准污染并贴近真实推理场景。在对GPT-5.6、Gemini-3及Qwen3.5家族等8款大语言模型的评测中,结果显示当推理深度达到16和32时,模型表现接近随机猜测,且有半数模型在计数任务中完全出错。实验表明,当前大语言模型往往在遍历完上下文所有关键关系前过早终止搜索。
AI-generated from reports · Updated 3 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理研究提出 GraphNIAH 长上下文真实图推理基准
研究团队推出 GraphNIAH 评测基准,利用模型知识截止期后的真实论文引用关系自动化构建长上下文多跳问答,避免基准污染并贴近真实推理场景。对 GPT-5.6、Gemini-3 及 Qwen3.5 家族 8 款大语言模型的评测显示,当推理深度达到 16 和 32 时模型表现接近随机猜测,且半数模型在计数任务中完全出错。实验表明当前大语言模型往往在遍历完上下文所有关键关系前过早终止搜索。
Story heat trend
Current heat 9·Comparable peak 10(Nov 2 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.