arXiv 自然语言处理· Shin'ya Yamaguchi·· 3 小时前AI 评分35
利用上下文感知解码缓解思维链中的查询捷径
Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding
AI 导读
研究人员提出利用上下文感知解码（CAD）来缓解大语言模型在思维链（CoT）推理中依赖查询捷径的问题，并将其作为理由对比解码（RCD）展开研究。RCD 通过对比包含与不包含推理理由时的下一个 token 分布，放大因理由而增加可能性的 token。在 5 个推理基准上的实验表明，这种免训练方法不仅提高了最终答案的准确率，还增强了答案对推理理由内容的依赖性。
来源：arXiv 自然语言处理 · arxiv.org