arXiv 自然语言处理· Yuqi Wu, Deyang Li, Katharine Hibbard, Ron Oswald, David Sinclair, Adegboyega Sapara, Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe, Abhinav Pillai, Reham Shalaby, Riffat Alam, Xin-Min Li, Yanbo Zhang, Jie Chen·· 7 小时前AI 评分37
Schema Coherence Inventory（SCI）：评估设定信念是否组织大语言模型认知
The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition
AI 导读
研究人员提出 Schema Coherence Inventory（SCI），通过基于 Beck 认知模型 8 个层级的 96 道强制选择题，评估设定信念是否真正组织了大语言模型的认知行为。在 5 个基座模型（1.7B-14B 参数）验证中，信念适配器均表现出目标特异性（+17.7 分），临床评估者识别率达 79.5%；团队已开源测试题目、评分代码及 48 题简短版。
来源：arXiv 自然语言处理 · arxiv.org