跳到正文
原文
arXiv 人工智能· Rui Sun, Peizhao Mei, Xiewei Cheng, Kaizhuo Chen, Taoran Li, Zhiyuan Yu, Varun Chandrasekaran·· 3 小时前AI 评分43

相同答案不同理由:多语言大语言模型的推理轨迹分歧研究

Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models

AI 导读

研究人员提出了推理轨迹分歧评估框架,用于将多语言大语言模型可见推理轨迹分解为结构相似度、顺序一致性和整体相似度进行对比。在 3 个推理基准、7 种语言和 6 款前沿 LLM 的测试中,整体相似度前四分之一的样本中有 52.1%–67.3% 未进入结构相似度前四分之一,表明传统方法会系统性高估一致性。双语人工评估也证实人类判断更贴合结构相似度,凸显了推理轨迹级评估的必要性。

来源:arXiv 人工智能 · arxiv.org