arXiv 人工智能· Gideon Shaked, Siddharth Nagisetty·· 7 小时前AI 评分40
OmicsBench:面向研究级生物信息学的长流程多轮 AI 智能体评测基准
OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics
AI 导读
研究人员推出面向 AI 智能体的长流程多轮生物信息学评测基准 OmicsBench,包含 97 个任务、共 662 个基于有向无环图关联的子任务。在 3 个框架下对 12 款模型的测试显示,无上下文反馈时平均得分仅为 0.43 至 0.57,加入反馈后为 0.54 至 0.67,最慢智能体单任务平均耗时 3.6 hours。
来源:arXiv 人工智能 · arxiv.org