跳到正文
原文
arXiv 自然语言处理· Krishanu Adhikary, Prashant Devadiga·· 8 小时前AI 评分35

TauIndianBankBench:面向工具使用型对话智能体的流程感知与行动导向评测基准

TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents

AI 导读

研究人员推出 TauIndianBankBench,这是一个包含 1,000 个印度零售银行业务任务的行动导向评测基准,用于评估对话智能体对业务流程的遵循能力。该基准不仅检查最终记录,还核验智能体是否完整执行了所有必要步骤且无未请求的更改。测试显示,仅检查最终记录会导致各模型有 6.5-12.0% 存在跳步或越权更改的会话被误判为成功。

来源:arXiv 自然语言处理 · arxiv.org