热点事件持续更新
研究团队发布客服Agent工作流LLM评测基准
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026年10月14日，一项针对真实客户支持技能场景的大语言模型智能体工作流执行能力的零样本评测结果公布。该基准构建了兼容MCP的模拟环境，共评测了闭源模型及1.7B至14B参数规模的开源模型共17个。评测结果显示，GPT-5.4在工作流执行上大幅领先；开源模型方面，QWEN3.5-9B成为20B以下最强开源模型，且表现超越了多个闭源基准。此外，测试还指出当前大语言模型裁判机制存在一致性问题，10对LLM裁判的通过判定平均一致性仅为Kappa=0.524。
AI 根据报道生成 · 5 小时前更新
最新进展10月14日 12:00
评测显示GPT-5.4领跑客服工作流，QWEN3.5-9B成20B以下最强开源模型，裁判一致性仅Kappa=0.524。报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv 自然语言处理评测大语言模型在真实客户支持场景中的智能体工作流执行能力
一项针对真实客户支持技能场景的零样本评测显示，GPT-5.4 在智能体工作流执行上大幅领先，QWEN3.5-9B 为 20B 以下最强开源模型且超越多个闭源基准。该基准采用兼容 MCP 的模拟环境，评测了闭源及 1.7B 至 14B 开源模型共 17 个。测试同时指出 10 对大语言模型裁判的通过判定平均一致性仅为 Kappa=0.524。
本事件热度走势
当前热度 8·可比范围峰值 9（10月14日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。