arXiv 自然语言处理· Yusuke Kumagae, Masahiro Kaneko·· 8 小时前AI 评分48
硅样本匹配了问卷答案却未能匹配受访者
Silicon Samples Match the Answers but Not the Respondents
AI 导读
大语言模型模拟的问卷受访者虽能匹配答案分布却无法覆盖真实人类，受访者覆盖差距（RCG）指标证实了这一问题。在两项美国社会调查评测中，受测的全部 6 款 LLM 均遗漏了人类受访者，主设置下表现甚至落后于独立边际采样基线。在各类提示词与推理设置下，所有 LLM 的 RCG 均高于拟合人类数据的高斯 Copula（Gaussian copula）。
来源：arXiv 自然语言处理 · arxiv.org