arXiv 机器学习· Zongye Lyu·· 19 日前厳選AI スコア66
RLVR 域外性能提升有多少源于答案格式变化
Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?
未翻訳のため中国語で表示しています。
AI ガイド
arXiv 新论文揭示，基于可验证奖励强化学习（RLVR）在域外评测中的收益很大比例仅来自答案格式迎合了提取器。在 4 个 7B SimpleRL 模型对上，提取器报告的域外多选题提升有 82%（独立大语言模型读取器评估为 77%）属于基座模型答案从正文转移到特定格式框的格式收益，而在另一套配方的 32B 模型上则几乎不存在该偏差。
推薦理由
论文通过更换答案提取器量化了 RLVR 评测中的格式偏差，为评估强化学习域外泛化能力提供了低成本的复核方法。
出典：arXiv 机器学习 · arxiv.org