arXiv 自然语言处理· Wenxuan Zhu, Shuming Liu, Bang An, Aznaur Aliev, Bing Li, Yibo Yang, Bernard Ghanem·· 8 小时前AI 评分59
研究揭示大语言模型强化学习中的思考泄漏现象
The Thinking Leakage in Reinforcement Learning for LLMs
AI 导读
新研究发现混合推理大语言模型在 NO-THINK 模式下通过强化学习获得的推理提升主要来自部分重新激活原模型的思考能力，即思考泄漏，而非学会了增强的推理行为。研究团队使用 GRPO 在 Qwen3-1.7B、4B 和 8B 上训练并分析内部激活与注意力头，发现模型准确率接近但未超越 THINK 模式，且替换低维思考激活子空间会消除大部分训练增益。
来源：arXiv 自然语言处理 · arxiv.org