ToMStories：解读合成叙事中的心智理论

研究人员推出评测数据集 ToMStories，包含约 6,000 个合成简短叙事片段，用于评估大语言模型推断角色情绪、恐惧和动机等心理状态的能力。在对 13 个 1B 至 72B 参数的开放权重模型评测中，最大的模型在多选题上达到人类水平，但在开放式问题上未能达到。分析表明模型在解读与生成隐式心理状态时存在简化倾向，合成数据可能高估了模型解读真实人类心理的能力。