跳到正文
原文
arXiv 自然语言处理· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 8 小时前AI 评分34

CoBe:对话式反事实文本编辑评测基准

CoBe: A Benchmark For Conversational Counterfactual Text Editing

AI 导读

研究人员推出对话式反事实文本编辑评测基准 CoBe,用于测试模型根据假设条件修改文本并保留原有因果事实的零样本能力。CoBe 包含涵盖医疗、科学工程、商业及日常场景的 2000 个问题,前沿模型平均得分仅为 58.05%。评测发现模型常退化为统计关联生成,且性能未随模型规模或输出 token 长度稳定提升。

来源:arXiv 自然语言处理 · arxiv.org