研究团队推出法律模型幻觉评测基准PARCEL

研究团队推出用于法律模型幻觉检测的断言级评测基准 PARCEL。该基准基于纽约州上诉法院的判决，构建了包含 3,396 个断言的数据集，主要用于检测断言是否获得引证支持。零样本评测结果显示，最强大的大语言模型准确率可达 0.97。然而测试发现，即使向模型提供裁判全文，模型仍会将无依据的断言误判为有支持；此外，虚构但看似合理的引用会导致模型性能出现最大程度的下降。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。