arXiv 机器学习· Du Cheng, Junyu Lu, Jingfan Zhang, Yuzhuo Zhang, Haoxuan Jia, Shichao Weng·· 2 小时前AI 评分34
跨行为策略优化（CBPO）：通过共享回归目标统一离线演示与在线及离线采样学习
Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
AI 导读
跨行为策略优化（CBPO）通过固定参考目标将离线演示以及当前与历史采样统一在单一回归损失下，无需协调分离的 SFT 与 RL 目标或存储行为策略概率。在四个数学推理基准测试中，CBPO-Unified 在 Qwen3-1.7B 上相比 SFT DAPO 将平均 avg@32 和 pass@32 分别提升了 2.33 和 4.44 个百分点。
来源：arXiv 机器学习 · arxiv.org