arXiv 自然语言处理· Jie Yu, Yuxi Sun, Zhaoxu Li, Chunxiao Liu, Xudong Jiang·· 10 小时前AI 评分35
用于大语言模型隐式推理的竞争性 Token 选择框架 CoTS
CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
AI 导读
研究者提出了免训练框架 CoTS(Competitive Token Selection),通过前两个候选 token 的概率竞争程度在 token 级别动态平衡离散确定性与软表示探索。当竞争加剧时,框架增加软表示权重以保留潜在替代推理路径,无需人工调整阈值或混合系数,也不增加前向传播次数。在 6 个推理基准上的实验显示,CoTS 的表现持续优于标准 CoT 及现有免训练隐式推理方法。
来源:arXiv 自然语言处理 · arxiv.org