跳到正文
原文
arXiv 自然语言处理· Lucas Resck, Jingyi Sun, Qianli Wang, Isabelle Augenstein, Anna Korhonen·· 4 小时前AI 评分45

依赖假说:链式思考(CoT)忠实度随语言资源水平下降而提升

The Reliance Hypothesis: Chain-of-Thought Faithfulness Rises as Language Resource Level Falls

AI 导读

研究提出并在4个模型上验证了“依赖假说”,发现大语言模型在知识密集型任务中,链式思考(CoT)忠实度会随语言资源水平下降而上升,但在推理密集型任务中则无此现象。基于MMMLU评测基准覆盖的8种语言测试表明,模型在低资源语言下无法直接检索出知识答案时会更依赖推理。研究还发现模型置信度存在辛普森悖论,并指出CoT监控在低资源语言中反而可能最具信息价值。

来源:arXiv 自然语言处理 · arxiv.org