Ai2 发布大语言模型公平性评测基准 FairStress

Ai2 推出用于评估大语言模型决策人口统计公平性的基准 FairStress，涵盖 29 个领域的 300 个决策场景，现已开放数据与代码下载并接入 Olmo-eval。评测发现，当引入说服性对抗前缀时，主流模型更易放弃偏向优势群体的正确选择而倒向少数群体，出现反刻板印象的过度纠偏现象；研究还指出模型解释与内部激活存在差异，其思维链可能未完全展示影响决策的所有内部表征。