热点事件持续更新
学者发布政策变迁推理评测基准DAPE
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
2026年11月,研究人员在 arXiv 发布针对政策变迁推理的双轴政策蕴涵基准 DAPE。该基准包含 1,000 对中国政府政策指令的专家标注数据集。评测结果显示,14 款开源模型与 4 款前沿 API 旗舰模型在零样本评测中均表现不佳,其中表现最佳的模型 Cohen's κ 仅约 0.29,远低于 0.53 的人类上限。不过,经 LoRA SFT 微调的千问模型(Qwen3-14B)取得了 κ = 0.524 的成绩,成功追平了 0.527 的人类一致性上限。
AI 根据报道生成 · 8 小时前更新
最新进展11月3日 13:00
研究提出政策变迁推理基准DAPE,经微调的Qwen3-14B成功追平人类上限。报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv 自然语言处理DAPE:针对政策变迁推理的双轴政策蕴涵基准
研究提出评估政策变迁推理的双轴政策蕴涵基准 DAPE,包含 1,000 对中国政府政策指令的专家标注数据集。14 款开源模型和 4 款前沿 API 旗舰模型零样本评测均表现不佳,最佳模型 Cohen's $\kappa$ 仅约 0.29,远低于人类上限 0.53。经 LoRA SFT 微调的千问(Qwen3-14B)取得 $\kappa = 0.524$,成功追平人类一致性上限(0.527)。
本事件热度走势
当前热度 7·可比范围峰值 9(11月3日 18:00)·近 24 小时可比范围变化–
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。