arXiv 自然语言处理· Yixin Yang, Yue Wang, Fandong Meng, Zhifang Sui·· 11 小时前AI 评分36
从候选 token 到最终结果：从推理模型内部表征解码长程候选价值
From Candidate Tokens to Final Outcomes: Decoding Relative Long-Horizon Candidate Value from Reasoning Model Representations
AI 导读
研究人员通过构建 RCTV 数据集发现，推理模型的内部隐藏状态、MLP 输出和注意力输出均可线性解码出候选 token 的相对长程价值，且探针表现优于基于概率和嵌入向量的基线。在线干预实验表明，利用解码出的信号引导生成过程中的 token 选择，能够提高最终获得正确答案的概率。
来源：arXiv 自然语言处理 · arxiv.org