跳到正文
原文
arXiv 自然语言处理· Zeyu Shan, Yongxin Shi, Shihang Wu, Peirong Zhang, Yuanyuan Fang, Zhaopeng Wang, Lianwen Jin·· 11 小时前AI 评分35

LongHisDoc:中文长篇历史文档理解评测基准

LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding

AI 导读

研究人员推出首个面向中文长篇历史文档理解的评测基准 LongHisDoc,包含 101 个 PDF 文档及 1,012 个专家标注问答对,单篇平均 85.1 页和 42,776.4 tokens。该基准涵盖 10 个类别与 4 类问答题型,评测显示表现最佳的 LVLM 与 LLM 准确率分别仅为 62.9% 和 69.9%,相关评测代码与数据已开放。

来源:arXiv 自然语言处理 · arxiv.org