arXiv 人工智能· Siyang Wu, Weizhi Zhang, Chen Yang, Esther Xu Fei, Jorin Overwiening, Xu Pan, Jing Tang, Yixuan He, Kelvin C. Mo, Peiwen Li, Defu Cao, Xu Hu, Haixin Wang, Taoran Li, Haoming Li, Zheyuan Deng, Jingwen Zhang, Pengsong Zhang, Haichao Zhang, Guangze Luo, Yi Daniel Lu, Zihuai He, Chenxi Qiu, Dianzhuo Wang, Zhejian Peng, Shushu Liang, Wenyi Lu, Yifan Wang, Jintao Huang, Yijun Wang, Xiaomin Li, Yuexing Hao·· 9 小时前AI 评分34
PersonaScienceBench：通过多样化模拟研究员评测科学智能体
PersonaScienceBench: Evaluating Scientific Agents with Diverse Simulated Researchers
AI 导读
PersonaScienceBench 是一套评测科学智能体协作能力的基准，涵盖 4 个科学领域、5 个基准中的 200 个任务。该基准让模拟研究员依角色画像在对话中提供上下文与反馈，并在 18 种模型配置下评估任务表现、事实恢复和自重复表现。针对 GPT 6 Astra 的分析显示，即使最终得分相近，智能体在针对性澄清与工作流修正等协作行为上也存在显著差异。
来源：arXiv 人工智能 · arxiv.org