arXiv 机器学习· Zhizhuo Kou, Sizai Hou, Long Chen, Jian Yang, Junyu Luo, Jingshu Peng, Wenkai Zhang, Sirui Han, Yike Guo·· 8 小时前AI 评分56
推理模型中的“Wait”标记源于继承而非自发产生：溯源推理标记来源
Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
AI 导读
研究表明推理模型在重新思考步骤时输出的“wait”标记主要继承自训练数据，而非强化学习自主发现。在基座模型不含该词的情况下，强化学习虽能大幅提升 MATH-500 准确率，但“wait”标记依然几乎不存在，它主要随中途训练或推理轨迹微调被引入。研究还指出标记频率本身不能代表强化学习诱导的推理水平，并提醒大语言模型作为裁判的评估方法可能得出与人工标注相反的结论。
来源：arXiv 机器学习 · arxiv.org