跳到正文
原文
arXiv 人工智能· Alejandro Mozo Quesada (Universidad de M\'alaga, Spain), Sergio G\'alvez Rojas (Universidad de M\'alaga, Spain), Francisco L\'opez Valverde (Universidad de M\'alaga, Spain)·· 20 小时前AI 评分42

Swap, Replicate, Read the Mass:System One 决策模型人口偏见审计协议

Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models

AI 导读

研究人员针对 System One 决策模型提出人口偏见审计协议,在 12 款模型及 1,638,000 次决策中评估了 BBQ、CrowS-Pairs 和 SilverSpoon 基准。测试发现模型普遍存在刻板印象对齐与顺序敏感性,选项置换会导致 0.0% 至 72.6% 的选择翻转,且 BBQ 中 97 项显著评分有 94 项与偏见对齐。研究建议审计默认置换选项,并将顺序无关评分作为采购标准。

来源:arXiv 人工智能 · arxiv.org