arXiv 自然语言处理· Zichen Bai, Yanli Wang, Yang Liu, Junhao Shi, Xueqin Liu, Jinguo Sun, Muye Li, Shaoqiang Zheng, Xuefei Diao, Zhuwei Zeng, Nan Duan, Peng Cao·· 6 hours agoAI score41
Li²SAO：通过组相对 Actor-Critic 自举提升轻量级单轨迹异步强化学习优化
Li$^{2}$SAO: Lifting Light Singl-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping
Not yet translated; shown in Chinese.
AI guide
研究人员提出轻量级异步强化学习优化方法 Li²SAO，解决缺乏预训练价值模型时单轨迹异步优化在早期落后于 GRPO 的问题。该方法在 critic 冷启动阶段利用组相对优势训练 actor 并以组中心化回报训练 critic，随后切换至单轨迹 GAE。实验显示 Li²SAO 在训练早期赶上或超越 GRPO 并进一步提升后期性能上限，相关代码已开源。
Source:arXiv 自然语言处理 · arxiv.org