Skip to content
Hot storiesContinuously updated

研究团队推出MCP智能体幻觉评测基准MCPHallu

1 reports1 reporting sourcesUpdated 5 hours ago

Start here

AI overview

2026年11月6日，研究团队推出针对MCP智能体的幻觉评测基准MCPHallu，旨在从推理、执行和记忆三个维度诊断其面临的幻觉风险。该基准涵盖5个领域的358个任务以及36个生产级MCP服务器。研究团队对来自8家厂商的14款前沿LLM智能体进行了5,012条轨迹评测。测试结果显示，受测智能体的平均得分仅为0.642；在不可达目标任务中，智能体平均分降至0.458，且通过率仅为23.2%。

AI-generated from reports · Updated 5 hours ago

Latest developmentsNov 6 13:00
研究团队发布MCPHallu基准，评测显示前沿智能体平均得分仅0.642。

Report timeline

Follow the reports to see different sides of the story.

Nov 6
  1. arXiv 人工智能
    MCPHallu：评测 MCP 智能体的推理、执行与记忆幻觉

    研究团队推出 MCP 智能体幻觉评测基准 MCPHallu，从推理、执行和记忆三个维度诊断其面临的幻觉风险。该基准包含 5 个领域的 358 个任务与 36 个生产级 MCP 服务器，对 8 家厂商的 14 款前沿 LLM 智能体进行了 5,012 条轨迹评测。测试显示智能体平均得分仅 0.642，在不可达目标任务中平均分降至 0.458 且通过率仅 23.2%。

Story heat trend

Current heat 9·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–

02.557.510Nov6Nov6Nov6Nov6

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.