跳到正文
原文
arXiv 人工智能· Matt Wilde, Jillian Fisher, Andrew B. Hall, Kathryn Salam, Robbie Goldfarb·· 1 天前AI 评分43

NewsBench:基于专家标准的 AI 新闻报道认知质量评测基准

NewsBench: Expert-Grounded Evaluation of Epistemic Quality in AI News Reporting

AI 导读

研究人员推出评测基准 NewsBench,基于新闻、政策等领域资深从业者制定的标准,从信源质量、事实性与中立性三个维度评估 AI 新闻报道质量。该基准包含约 3,000 个评测 prompt(每月更新约 500 个)、约 2,500 个专家标注样本及配套的自动化 AI 裁判。对 4 款前沿模型的评测揭示了各模型在信源、事实性和中立性上截然不同的失效特征。

来源:arXiv 人工智能 · arxiv.org