arXiv 自然语言处理· Neemias B. da Silva, Martin Lukk, Ali Sutani, Abhishek Moturu, Harris Yang, Daniel Silver, Matt Ratto, Thiago H. Silva·· 1 天前AI 评分41
Population Fidelity：评估 LLM 的群体代表性
Population Fidelity: Evaluating Population Representativeness in LLMs
AI 导读
研究提出名为 Population Fidelity 的评估框架，从群体级准确率、群间差异量及差异结构三个维度评估 LLM 对人类群体态度的代表性。实验表明，表征不良不仅源于群间差异不足，还存在差异被分配至错误群体的问题；文化微调虽能提升整体中心对齐，却未能改善群体内部差异的表征。该研究已开源可复用的代码、数据与训练模型。
来源：arXiv 自然语言处理 · arxiv.org