arXiv 人工智能· Ruqi Chen, Zilei Wang, Wei Wang·· 2 小时前AI 评分45
ARCANA:抽象与类比推理评测基准
ARCANA: A Benchmark for Abstraction and Analogical Reasoning
AI 导读
研究人员推出抽象与类比推理基准 ARCANA,用于测试将现实物理现象映射到抽象网格变换的远距离类比推理能力。评测显示人类表现可靠,而现有大语言模型存在明显的性能差距与系统性失效模式。团队进一步提出 ConceptSIR 推理框架,助力标准 LLM 解决直接提示词无法完成的挑战任务,相关基准与代码均已开源。
来源:arXiv 人工智能 · arxiv.org