规模化提炼专家判断：构建 AI 自动化评估系统

研究人员提出一种将领域专家推理过程提炼为结构化标准的通用方法，用于构建规模化运行的 AI 自动化评估系统。在首个应用场景 AI 新闻报道中，自动化裁判在信源质量评估中相对专家共识达到 F1 = 0.81/0.97，在中立性评估达到 F1 = 0.86。测试表明经专家校准的裁判在信源质量各指标上显著优于未校准的前沿模型。