arXiv 自然语言处理· Md Tahmid Rahman Laskar, Gundeep Singh, Xue-Yong Fu, Karol Chang, Kevin Sanders, Shi Zong, Tania Habib, Julien Bouvier Tremblay, Shayna Gardiner, Harsh Saini, Matthias Lee, Elena Khasanova, Quinten McNamara, Shashi Bhushan TN·· 8 小时前AI 评分43
评测大语言模型在真实客户支持场景中的智能体工作流执行能力
Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
AI 导读
一项针对真实客户支持技能场景的零样本评测显示，GPT-5.4 在智能体工作流执行上大幅领先，QWEN3.5-9B 为 20B 以下最强开源模型且超越多个闭源基准。该基准采用兼容 MCP 的模拟环境，评测了闭源及 1.7B 至 14B 开源模型共 17 个。测试同时指出 10 对大语言模型裁判的通过判定平均一致性仅为 Kappa=0.524。
来源：arXiv 自然语言处理 · arxiv.org