arXiv 自然语言处理· Arkajyoti Chakraborty, Aryan Tayal, Ishika Agarwal, Tanner Sorensen, Justin Chiu, Alessandro Di Bari, Neha Gupta, Andreas Stolcke·· 9 小时前AI 评分38
ToolRACER:面向 AI 智能体训练与评估的鲁棒对话仿真资源
ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation
AI 导读
ToolRACER 是一个通过协同用户、助手和工具仿真模型来生成并验证多轮交互的合成数据生成管线。基于该管线构建的 ToolRACERBench 涵盖 6 个领域与 55 种人设,生成了 5.6K 条对话轨迹,其中约 66% 包含易出错场景。在 $\tau^2$-bench 和 ACEBench 等评测中,基于该数据集训练的模型显著提升了端到端智能体准确率与鲁棒性。
来源:arXiv 自然语言处理 · arxiv.org