arXiv 人工智能· Detao Zeng, Guilin Ou, Nuo Chen, Yunhao Feng, Hongliang Wang, Qinli Yang, Junming Shao, Zhong Zhang·· 8 小时前AI 评分47
Async-RBench:LLM Agent 异步任务执行评测基准
Async-RBench: Benchmarking Asynchronous Task Execution in LLM Agents
AI 导读
Async-RBench 是针对 LLM Agent 异步任务执行的评测基准,包含覆盖 8 个场景的 200 个可执行任务与动态重规划得分(DRS)。评测 9 个 Agent 显示其 DRS 仅为 19.2 至 45.1,且异步执行下的平均任务成功率低于批处理交付(26.0% 对比 29.7%)。提示主 Agent 每次接收结果后重建规划仅使 DRS 提升 2.6 至 3.5 分。
来源:arXiv 人工智能 · arxiv.org