大语言模型对齐如何实现反事实不变性

研究人员提出一种结合群体级奖励函数的策略梯度技术，通过成对的反事实提示词优化大语言模型，解决强化学习等标准对齐方法放大反事实偏见的问题。该研究还构建了受控反事实提示词对数据集及评估方案。实验表明，该方法在多个公平性基准上有效减少了反事实差异，同时保留了整体回复质量，且在敏感信息确实相关时仍能保持合理适应。