arXiv 人工智能· Scott C. Lowe, Sander W. Keemink·· 7 小时前AI 评分56
SpireBench:通过《杀戮尖塔》评估智能体模型的长程战略推理能力
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
AI 导读
研究团队推出基于商业卡牌游戏《杀戮尖塔》的评测基准 SpireBench,用于评估智能体大语言模型在长程任务中的战略决策与推理能力。在最高难度下评测 20 个大语言模型发现,前沿模型能达到人类平均水平,但随着游戏进程拉长与人类专家差距明显扩大。实验显示现有模型在全流程中普遍存在风险误判,倾向于保全生命值而非牺牲血量换取战力成长,且跨局记录的记忆常出现错误导致无法实现策略迭代。
来源:arXiv 人工智能 · arxiv.org