arXiv 自然语言处理· Saber Zerhoudi·· 20 hours agoAI score35
用户模拟中的共享偏差研究:语言模型分歧如何指示预测可靠性
Wrong Together: Shared Bias in User Simulation
Not yet translated; shown in Chinese.
AI guide
研究显示,6 个语言模型模拟器间的分歧能有效预测群体差异评估的失效(AUC 0.87 对比单组的 0.71),但共有偏差无法被该信号察觉。基于 12 个国家 60 道题 GlobalOpinionQA 数据的测试表明,校正共享偏差可降低误差;若将分歧最大的 20% 对比转交人工评估,剩余对比的无效比例可从 63.7% 降至 54.8%。
Source:arXiv 自然语言处理 · arxiv.org