arXiv 自然语言处理· Yu Mao, Lei Yu, Zining Zhu, Yusheng Zheng, Haohang Li, Freda Shi, Yutong Yin, Zhaoran Wang, Jingcheng Niu·· 11 小时前AI 评分43
随机奖励强化学习作为大语言模型能力的探测工具
Probe with Participation Trophies: Random-Reward RL as a Probe of LLM Capability
AI 导读
研究提出将随机奖励强化学习（RL）作为探测大语言模型（LLM）可达性的工具，用于评估模型在当前状态下通过后续训练所能释放的潜能。对 OLMo 检查点的评测显示，初始算术准确率同为 3.5% 的模型在 RL 下最高分别达到 8.5% 和 55%，且进入中期训练后随机奖励亦能产生显著收益。该方法因无需正确答案反馈，有效规避了传统探测中的标签泄漏问题。
来源：arXiv 自然语言处理 · arxiv.org