The Decoder· Jonathan Kemper·· 3 小时前精选AI 评分67
新基准 Taste-Bench 评估 AI 智能体长期决策能力,顶级模型准确率不足 60%
AI agents have bad taste in long-term decisions and a new benchmark proves it
AI 导读
研究人员推出全新基准 Taste-Bench,通过冻结智能体运行轨迹中的决策分叉点,评估模型在面对二选一路径时的长期决策品味。评测涵盖 14 款主流模型共 502 道题目,表现最好的 GPT-5.6 Sol 与 GPT-5.5 准确率仅为 59.7% 和 59.5%,且增加推理思考预算并不能改善线索后置难题。
推荐理由
该研究将评估切入到轨迹分叉点的二选一判断,展示了当前前沿模型在隐蔽线索下的决策局限与蒸馏改进空间。
来源:The Decoder · the-decoder.com