研究团队推出系统1决策模型认知基准S1CogBench并开源
Start here
2026年11月,研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench,并已将代码开源。该基准通过 24 项认知任务评估模型在直接输出决策时的能力边界,为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案。在对 5 款开源模型与 Jev 的评测中,研究发现各模型间的可靠性差异显著;模型的高速度主要源于无需生成文本直接输出决策,且模型即便表现良好也不意味着能预测人类行为。
AI-generated from reports · Updated 19 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理S1CogBench:系统 1 决策模型在认知实验中能做什么与不能做什么
研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench,通过 24 项认知任务评估模型在直接输出决策时的能力边界。评测覆盖 5 款开源模型与 Jev,发现模型间可靠性差异显著,高速度主要源于无需生成文本直接输出决策,且表现良好并不意味着能预测人类行为。该基准为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案,代码已开源。
Story heat trend
Current heat 5·Comparable peak 9(Nov 3 18:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.