跳到正文
原文
arXiv 自然语言处理· Veronika Solopova, Ivan Havlytskyi, Viktoria Skorik, Ostap Vykhopen·· 9 小时前AI 评分36

GeopoliticalQA:面向情报报告的检索与生成评测基准

GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports

AI 导读

新提出的 GeopoliticalQA 基准包含 415 份地缘政治情报报告与 5,525 个问答对,用于评测 RAG 系统的检索与生成能力。评测 15 个检索系统和 6 个开源权重 LLM 发现,分块检索表现不取决于模型规模,中等开源编码器 bge-m3 优于商业 embedding API。但在生成端,即使提供标准证据,模型在推理性及风险导向问题上仍面临挑战。

来源:arXiv 自然语言处理 · arxiv.org