Skip to content
Hot storiesContinuously updated

研究团队推出系统1决策模型认知基准S1CogBench并开源

1 reports1 reporting sourcesUpdated 23 hours ago

Start here

AI overview

2026年11月,研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench,并已将代码开源。该基准通过 24 项认知任务评估模型在直接输出决策时的能力边界,为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案。在对 5 款开源模型与 Jev 的评测中,研究发现各模型间的可靠性差异显著;模型的高速度主要源于无需生成文本直接输出决策,且模型即便表现良好也不意味着能预测人类行为。

AI-generated from reports · Updated 19 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 3
  1. arXiv 自然语言处理
    S1CogBench:系统 1 决策模型在认知实验中能做什么与不能做什么

    研究团队推出针对系统 1 决策模型的认知实验基准 S1CogBench,通过 24 项认知任务评估模型在直接输出决策时的能力边界。评测覆盖 5 款开源模型与 Jev,发现模型间可靠性差异显著,高速度主要源于无需生成文本直接输出决策,且表现良好并不意味着能预测人类行为。该基准为软件检验决策是否响应证据、反馈与记忆负荷提供了首个测试方案,代码已开源。

Story heat trend

Current heat 5·Comparable peak 9(Nov 3 18:00)·Comparable change, last 24 hours–

02.557.510Nov3Nov4Nov4Nov4

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.