跳到正文
原文
arXiv 自然语言处理· Eirik Botten Nicolaysen (EcoDeco AS)·· 2 小时前AI 评分28

norregel:挪威法律带日期数值的预注册评测基准

norregel: a preregistered benchmark of dated numeric values in Norwegian law

AI 导读

norregel 是一个包含 916 个测试项的预注册评测基准,用于测试大语言模型对挪威法律特定日期数值的回答准确度。首轮测试中 Opus 5.5 与 Sonnet 4.6 的正确率分别为 46.7% 和 40.2%,Haiku 4.5 等模型多数回答无法解释。次轮测试显示模型在知识截止期后的过时回答增加,但敏感性分析表明该支持结论并不稳健。

来源:arXiv 自然语言处理 · arxiv.org