arXiv 机器学习· Qi Yu, Ruizhong Qiu, Zhichen Zeng, Xuying Ning, Yanjun Zhao, Dongqi Fu, Yinglong Xia, Hong Li, Hanghang Tong·· 3 小时前AI 评分34
基于 Fused Gromov-Wasserstein 几何的 RLVR 分层信用分配研究
Hierarchical Credit Assignment for RLVR on Fused Gromov-Wasserstein Geometry
AI 导读
研究提出了针对基于组的 RLVR 方法的分层信用分配方法 HarA，旨在识别并激励语义上新颖的推理行为以增强大语言模型的探索能力。HarA 将 rollout 建模为隐藏状态与位置的分布，通过计算 FGW 重心度量语义新颖度，并引入锚点引导线性化以利用 Sinkhorn 算法高效求解。实验表明，该即插即用方法在 3 种基于组的 RLVR 方法及多个推理基准上均优于现有方法。
来源：arXiv 机器学习 · arxiv.org