arXiv 自然语言处理· Dengzhe Hou, Kazunori D Yamada·· 1 日前AI スコア45
S1CogBench：系统 1 决策模型在认知实验中能做什么与不能做什么
S1CogBench: What System One Decision Models Can and Cannot Do on Cognitive Experiments
未翻訳のため中国語で表示しています。
AI ガイド
研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench，通过 24 项认知任务评估模型在直接输出决策时的能力边界。评测覆盖 5 款开源模型与 Jev，发现模型间可靠性差异显著，高速度主要源于无需生成文本直接输出决策，且表现良好并不意味着能预测人类行为。该基准为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案，代码已开源。
出典：arXiv 自然语言处理 · arxiv.org