arXiv 自然语言处理· Guanjie Cheng, Jianfeng Gao, Yufei Tong, Xinkui Zhao, Shuiguang Deng·· 18 hours agoAI score36
DuSE-Bench：评估动态演化对话与文档联合推理能力的基准测试
DuSE-Bench: Benchmarking Joint Reasoning over Evolving Dialogue and Documents
Not yet translated; shown in Chinese.
AI guide
研究人员推出双源演化基准 DuSE-Bench，包含 5 个场景下的 1,000 个任务（其中 700 个需结合对话与文档前提），用于评测动态演变对话与文档的联合推理及证据归因。在 11 种基线配置的实验中，联合推理任务的内容准确率最高仅为 56.7%，且回答正确时常缺乏对原始证据的完整归因。该评测数据集已公开发布。
Source:arXiv 自然语言处理 · arxiv.org