研究揭示商业大模型联网搜索决策行为与局限
Start here
2026年11月2日,arXiv发布了一项针对5款商业大语言模型联网搜索决策行为的研究。在这项包含400道题的测试中,不同模型表现出显著差异:GPT-5 mini与Grok 4 Fast在超过90%的外部知识问题上会触发搜索,内部知识问题触发率仅为1%;相比之下,Mistral Small仅在20%的外部知识问题上触发搜索,通常直接弃权而非调用搜索工具。此外,测试还发现模型的搜索决策高度依赖显式时间线索,在缺乏时间提示的情况下,两款模型的NAS得分从约0.72明显下滑至0.57–0.58。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能盲目自信还是谨慎检索?LLM 何时突破静态内部记忆进行搜索的行为研究
一项针对 5 款商业 LLM 搜索决策的研究显示,GPT-5 mini 与 Grok 4 Fast 在超 90% 的外部知识问题上触发搜索,内部知识仅为 1%。相比之下,Mistral Small 仅在 20% 的外部知识问题上搜索,常直接弃权而非调用工具。该包含 400 道题的测试还发现搜索依赖显式时间线索,无提示时两款模型的 NAS 得分从约 0.72 降至 0.57–0.58。
Story heat trend
Current heat 8·Comparable peak 10(Nov 2 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.