arXiv 机器学习· Shixuan Liu, Cheng Tang, Yuzheng Hu, Fan Wu, Han Zhao, Jiaqi W. Ma·· 2 小时前AI 评分34
RL-IF：追踪在线强化学习中的非局部训练数据影响
RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning
AI 导读
研究人员提出 RL-IF，这是一种用于在线强化学习的数据归因一阶估计器，能够追踪单个训练样本跨多轮更新对下游目标的非局部数据影响。该方法解耦了优化效应与策略采样效应，并基于此开发出实用数据过滤方法 RINSE。在标准控制 benchmark 和 RLHF 毒性缓解实验中，RINSE 相比标准 PPO 与局部归因基线提升了训练效率和最终性能。
来源：arXiv 机器学习 · arxiv.org