学者发布政策变迁推理评测基准DAPE
Start here
2026年11月，研究人员在 arXiv 发布针对政策变迁推理的双轴政策蕴涵基准 DAPE。该基准包含 1,000 对中国政府政策指令的专家标注数据集。评测结果显示，14 款开源模型与 4 款前沿 API 旗舰模型在零样本评测中均表现不佳，其中表现最佳的模型 Cohen's κ 仅约 0.29，远低于 0.53 的人类上限。不过，经 LoRA SFT 微调的千问模型（Qwen3-14B）取得了 κ = 0.524 的成绩，成功追平了 0.527 的人类一致性上限。
AI-generated from reports · Updated 23 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理DAPE：针对政策变迁推理的双轴政策蕴涵基准
研究提出评估政策变迁推理的双轴政策蕴涵基准 DAPE，包含 1,000 对中国政府政策指令的专家标注数据集。14 款开源模型和 4 款前沿 API 旗舰模型零样本评测均表现不佳，最佳模型 Cohen's $\kappa$ 仅约 0.29，远低于人类上限 0.53。经 LoRA SFT 微调的千问（Qwen3-14B）取得 $\kappa = 0.524$，成功追平人类一致性上限（0.527）。
Story heat trend
Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.