arXiv 自然语言处理· Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma, Hongxin Li, Yaxin Du, Weicheng Gu, Fanglin Xu, Yi Xing, XiangLong Liu, Jujie He, Zhange Zhang, Huatong Song, Zhaoyi Li, Deyang Kong, Chuan Hao, Peihao Wu, Mingjie Tang, Ran Tao, Jian Yang, Wayne Xin Zhao, Bryan Dai·· 4 小时前AI 评分41
RealCLI：面向命令行智能体人机协作的统一定量评测基准
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
AI 导读
研究人员提出针对真实命令行任务的配对评测基准 RealCLI，统一人机协作质量与任务执行能力的评测。该基准构建了涵盖 22 个子维度和 51 个交互场景模板的五维框架，并提供预先给出完整规格的 RealCLI-Exec 与动态交互的 RealCLI-Collab 两种对比模式。前沿智能体评测显示最佳配置平均分仅为 49.2%，联合协作评分最高仅达 37.6%。
来源：arXiv 自然语言处理 · arxiv.org