arXiv 自然语言处理· Gurbir Arora, Toni J. B. Liu, Jiajun Bao, Rapha\"el Sarfati, Christopher J. Earls·· 1 天前AI 评分34
LLM 组合任务中的因果与可解释结构
Causal and Interpretable Structures in LLM Compositional Tasks
AI 导读
新研究揭示了 Llama、Qwen、Gemma 和 Mistral 等大语言模型在处理循环概念组合任务时，跨 Transformer 层级逐步组织和使用关系信息的因果机制。研究发现中间层会基于两个 token 的推断关系构建联合表征，后续层则整合三个 token 的联合表征以完成任务预测。将模型限制在此类因果相关的联合表征上，可进一步提升下一个 token 预测的准确率。
来源：arXiv 自然语言处理 · arxiv.org