arXiv 自然语言处理· Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan·· 2 小时前AI 评分45
SkillEval：基于认知诊断模型学习大语言模型的可解释能力画像
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
AI 导读
研究人员提出评估框架 SkillEval，结合大语言模型元认知与心理测量学认知诊断模型，构建技能维度的可解释模型能力画像。该框架在涵盖 MATH、GPQA 等 5 个基准的 9,523 道题目上评估了 3,811 个大语言模型，不仅能更精准预测未见题目的表现，还在下游模型路由任务中将推理成本降低超 60%。
来源：arXiv 自然语言处理 · arxiv.org