arXiv 人工智能· Licheng Pan, Haocheng Yang, Yuzhou Chen, Yichen Sun, Yuan Lu, Yunfei Teng, Jiajun Fan, Guangyi Liu, Zhixuan Chu, Hao Wang·· 10 小时前AI 评分35
CleanRM：利用少量干净反馈解决 RLHF 噪声反馈问题的奖励建模方法
CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
AI 导读
针对偏好数据中样本级噪声导致奖励建模存在偏差的问题，研究人员提出 CleanRM 方法，利用少量干净反馈通过最优传输校准样本级噪声比率。该方法将噪声反馈恢复出的偏好联合分布与干净反馈对齐，并使用噪声修正的替代损失训练奖励模型，理论上证明了其目标函数对干净风险是无偏的。实验表明 CleanRM 表现优于主流去噪基准，能实现更有效的下游 RLHF 对齐。
来源：arXiv 人工智能 · arxiv.org