arXiv 自然语言处理· Jize Jiang, Chengxiang Zhai·· 4 小时前AI 评分35
大语言模型逻辑推理的基于能力评估（CBE）
Competence-Based Evaluation of Logical Reasoning in Large Language Models
AI 导读
研究提出基于能力的评估范式（CBE），通过保持所需能力不变并扩展复杂度与表述形式，评估大语言模型的逻辑推理泛化表现。在基础排序任务中对 6 款 GPT 与千问（Qwen）模型测试表明，强模型在限定复杂度外均未能持续满足能力条件。CoT 与 GRPO 能拓展高表现区间但未根除失效，监督微调 LoRA 则几乎没有留出集迁移效果。
来源：arXiv 自然语言处理 · arxiv.org