arXiv 自然语言处理· Denglin Jiang (New York University), Annie Wang (New York University)·· 5 小时前AI 评分33
社交世界模型的评估缺口
The Social World Model Evaluation Gap
AI 导读
一项对 1999 年至 2026 年间 113 项社交世界模型研究的审查发现，当前评测普遍缺乏对真人反应的直接显式预测检验。在 9 项测量真人实际反应的主要评估中，仅有 2 项将显式反应预测与真实反应进行对比，且抽检的 25 项大语言模型研究无一满足该条件。研究人员据此提出一种单步谈判实验方案，用于明确分离并检验此类预测能力。
来源：arXiv 自然语言处理 · arxiv.org