arXiv 人工智能· Yizhen Jiang, Haowei Guo, Tianyi Bai, Zengjie Hu, Lu Ma, Zhengyang Zhao, Haoze Sun, Peng Pei, Wentao Zhang·· 5 小时前AI 评分47
MCPHallu:评测 MCP 智能体的推理、执行与记忆幻觉
MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
AI 导读
研究团队推出 MCP 智能体幻觉评测基准 MCPHallu,从推理、执行和记忆三个维度诊断其面临的幻觉风险。该基准包含 5 个领域的 358 个任务与 36 个生产级 MCP 服务器,对 8 家厂商的 14 款前沿 LLM 智能体进行了 5,012 条轨迹评测。测试显示智能体平均得分仅 0.642,在不可达目标任务中平均分降至 0.458 且通过率仅 23.2%。
来源:arXiv 人工智能 · arxiv.org