arXiv 人工智能· Rui Sun, Peizhao Mei, Xiewei Cheng, Kaizhuo Chen, Taoran Li, Zhiyuan Yu, Varun Chandrasekaran·· 3 小时前AI 评分43
相同答案不同理由:多语言大语言模型的推理轨迹分歧研究
Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models
AI 导读
研究人员提出了推理轨迹分歧评估框架,用于将多语言大语言模型可见推理轨迹分解为结构相似度、顺序一致性和整体相似度进行对比。在 3 个推理基准、7 种语言和 6 款前沿 LLM 的测试中,整体相似度前四分之一的样本中有 52.1%–67.3% 未进入结构相似度前四分之一,表明传统方法会系统性高估一致性。双语人工评估也证实人类判断更贴合结构相似度,凸显了推理轨迹级评估的必要性。
来源:arXiv 人工智能 · arxiv.org