arXiv 人工智能· Zongyao Zhao, Cheng-Jie Zhao, Ruihang Jiang, Bing Zheng, Zhaolin Wang, Yuanwei Liu·· 4 小时前AI 评分36
何时停止惩罚动作？面向 VLA 强化学习的 Martingale GRPO
When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
AI 导读
针对视觉-语言-动作（VLA）强化学习中 GRPO 误惩罚失败轨迹有效动作的问题，研究者提出 MART-GRPO。该方法利用经 LoRA 微调的 VLM 定位最终未恢复错误并截断后续负反馈，在保持梯度估计期望的同时降低方差。在 RoboTwin 2.0 上基于 OpenVLA-OFT 的实验表明，MART-GRPO 在多项任务中的成功率优于全轨迹 GRPO。
来源：arXiv 人工智能 · arxiv.org