arXiv 自然语言处理· Eirik Botten Nicolaysen (EcoDeco AS)·· 2 小时前AI 评分28
norregel:挪威法律带日期数值的预注册评测基准
norregel: a preregistered benchmark of dated numeric values in Norwegian law
AI 导读
norregel 是一个包含 916 个测试项的预注册评测基准,用于测试大语言模型对挪威法律特定日期数值的回答准确度。首轮测试中 Opus 5.5 与 Sonnet 4.6 的正确率分别为 46.7% 和 40.2%,Haiku 4.5 等模型多数回答无法解释。次轮测试显示模型在知识截止期后的过时回答增加,但敏感性分析表明该支持结论并不稳健。
来源:arXiv 自然语言处理 · arxiv.org