研究团队提出异步RL优化方法Li²SAO

1. 13:00
   arXiv 自然语言处理

   Li²SAO：通过组相对 Actor-Critic 自举提升轻量级单轨迹异步强化学习优化

   研究人员提出轻量级异步强化学习优化方法 Li²SAO，解决缺乏预训练价值模型时单轨迹异步优化在早期落后于 GRPO 的问题。该方法在 critic 冷启动阶段利用组相对优势训练 actor 并以组中心化回报训练 critic，随后切换至单轨迹 GAE。实验显示 Li²SAO 在训练早期赶上或超越 GRPO 并进一步提升后期性能上限，相关代码已开源。

Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.