Skip to content
arXiv 自然语言处理· Charles Chang (Duke Kunshan University), Yuen Yuen Ang (Johns Hopkins University), Bolun Sun (Northwestern University)·· 15 hours agoAI score35

DAPE:针对政策变迁推理的双轴政策蕴涵基准

Dual-Axis Policy Entailment: A Benchmark for Policy-Change Reasoning

Not yet translated; shown in Chinese.

AI guide

研究提出评估政策变迁推理的双轴政策蕴涵基准 DAPE,包含 1,000 对中国政府政策指令的专家标注数据集。14 款开源模型和 4 款前沿 API 旗舰模型零样本评测均表现不佳,最佳模型 Cohen's $\kappa$ 仅约 0.29,远低于人类上限 0.53。经 LoRA SFT 微调的千问(Qwen3-14B)取得 $\kappa = 0.524$,成功追平人类一致性上限(0.527)。

Source:arXiv 自然语言处理 · arxiv.org