热点事件持续更新
研究团队提出CleanRM以优化RLHF噪声反馈奖励建模
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
2026年10月16日，研究人员在arXiv发布成果，针对人类反馈强化学习（RLHF）偏好数据中样本级噪声导致奖励建模产生偏差的问题，提出了名为CleanRM的奖励建模方法。该方法借助少量干净反馈，利用最优传输校准样本级噪声比率，将噪声反馈恢复出的偏好联合分布与干净反馈对齐，并使用噪声修正的替代损失来训练奖励模型。理论证明，该方法的目标函数对干净风险是无偏的。实验表明，CleanRM的表现优于主流去噪基准，能实现更有效的下游RLHF对齐。
AI 根据报道生成 · 9 小时前更新
最新进展10月16日 12:00
研究人员提出CleanRM方法，利用少量干净反馈校准噪声比率，提升RLHF奖励建模效果。报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv 人工智能CleanRM：利用少量干净反馈解决 RLHF 噪声反馈问题的奖励建模方法
针对偏好数据中样本级噪声导致奖励建模存在偏差的问题，研究人员提出 CleanRM 方法，利用少量干净反馈通过最优传输校准样本级噪声比率。该方法将噪声反馈恢复出的偏好联合分布与干净反馈对齐，并使用噪声修正的替代损失训练奖励模型，理论上证明了其目标函数对干净风险是无偏的。实验表明 CleanRM 表现优于主流去噪基准，能实现更有效的下游 RLHF 对齐。
本事件热度走势
当前热度 8·可比范围峰值 10（10月16日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。