跳到正文
原文
arXiv 人工智能· Delin Wang, Sinuo Wang, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 5 小时前AI 评分40

RubricAtlas:从专家报告挖掘类型级评分准则以评估深度研究智能体

RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents

AI 导读

研究人员提出 RubricAtlas,通过从专家研报中挖掘类型级分析准则,用于评估深度研究智能体输出的分析完整性。该框架基于 3,079 篇中文金融研报构建并覆盖 99 个研究类型,将二元检查点关联至报告段落以确保评估决策可追溯。在 10 个智能体的测试中,两条裁判流程达成 $\kappa$ = 0.71 的检查点一致性与 Kendall $\tau$ = 0.87 的排名一致性。

来源:arXiv 人工智能 · arxiv.org