arXiv 人工智能· Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen·· 6 小时前AI 评分46
FDE-Bench：评估智能体从模糊真实业务需求到端到端交付的评测基准
FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
AI 导读
研究人员推出首个基于真实客户项目构建的基准 FDE-Bench，用于评估 AI 智能体在需要交互式需求澄清与迭代优化下的端到端交付能力。该基准包含覆盖组合优化与机器学习的 49 个真实案例，由智能体向模拟客户挖掘缺失需求并接受专属评估器评测。在 18 种智能体配置的测试中，最高平均交付得分仅为 0.5510（FDE 人工参考为 1.0），最高交付成功率（DSR）仅达 6.12%。
来源：arXiv 人工智能 · arxiv.org