跳到正文
原文
arXiv 人工智能· Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Yi Xie, Nico Pelleriti, Shiyang Liu, Menghan Lu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han·· 3 小时前AI 评分55

AlphaDiana:面向可验证推理任务的智能体评测度量系统

AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks

AI 导读

研究团队推出 AlphaDiana 智能体度量系统,用于在可验证推理任务中解耦分析模型调用、工具执行、技能指导与记忆保留对表现的影响。测试 3 款开源模型与 3 种开源 harness 的结果显示,智能体框架并不总能提高推理准确率,工具带来的新增解题收益容易被单模型原本答对题目的失误抵消。

来源:arXiv 人工智能 · arxiv.org