arXiv 自然语言处理· Jixuan Leng, Si Si, Fei Wang, Cho-Jui Hsieh, Jiong Zhang, Hsiang-Fu Yu, Inderjit S. Dhillon·· 4 小时前AI 评分35
CONCUR：面向多任务与多奖励强化学习的协调辅助奖励机制
CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
AI 导读
针对大语言模型多任务强化学习中辅助奖励容易颠倒主奖励排序的问题，研究者提出优势估计器 CONCUR。CONCUR 通过约束门控辅助奖励的分数，确保主奖励更高的回复不会获得更低评分，并包含 CONCUR-T 与 CONCUR-A 两个变体。在涵盖数学、代码、指令遵循与写作的 2 个模型族共 3 款模型测试中，两变体的平均得分均超越所有基线。
来源：arXiv 自然语言处理 · arxiv.org