基于本体与推理器验证的科学 AI 大语言模型推理评测基准

研究人员提出一种基于 OWL 2 本体的多选题评测基准自动生成流水线，其正确答案源自本体，干扰项则通过 OWL 推理器形式化蕴含检查进行验证。该方法在 Pizza、PMDco 和 DOID 三个本体上分别生成了 112、2,491 及 15,216 道多选题，干扰项覆盖 4 个语义类别。6 款 LLM 在零样本评测中取得 41.1% 至 76.8% 的准确率，展现出评测基准的挑战性与区分度。