arXiv 人工智能· Shriram Vasudevan, Videet Mehta, Connor Sweeney·· 8 時間前AI スコア52
研究团队推出长程就医代理智能体评测基准 BABA-Bench
BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents
未翻訳のため中国語で表示しています。
AI ガイド
研究人员推出长程就医代理智能体评测基准 BABA-Bench，包含 47 个由真实脱敏案例构建的交互环境，用于同时评估智能体的任务结果与流程合规性。在针对 14 个前沿模型的 1,974 次评测中，达成目标要求的 921 次运行里有 28% 未遵循必要流程，Claude Opus 5 虽在 81.6% 运行中完成目标，但完全合规率仅为 52.5%。
出典：arXiv 人工智能 · arxiv.org