arXiv 机器学习· Sami Nur Islam, Johan Obando-Ceron, Doina Precup, Aaron Courville, Pablo Samuel Castro·· 5 小时前AI 评分35
冻结而非克隆：无需保留离线数据的高表达力策略微调
Freeze, Don't Clone: Fine-Tuning with Expressive Policies Without Retaining Offline Data
AI 导读
新研究针对离线到在线强化学习中不保留离线数据的微调难题，提出冻结预训练先验并停止在线行为克隆，以避免表征坍缩与动作多样性流失。实验表明，该策略在 7 个 OGBench 领域中显著提升了 IFQL、FQL 和 QC 算法的微调表现。它打破了损害探索的恶性反馈循环，在保留离线覆盖的同时由价值学习驱动智能体持续改进。
来源：arXiv 机器学习 · arxiv.org