arXiv 自然语言处理· Seunghan Kim, Minyeong Choe, Hyunil Kim, Haehyun Cho·· 6 小时前AI 评分44
桥接路由头：大语言模型的多语言多跳推理机制定位
Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs
AI 导读
研究人员在 Llama 3.1 70B 和 Qwen 2.5 72B 中定位到负责多跳推理的桥接路由头（BRH），发现跨 5 种语言的专用头集合平均 Jaccard 相似度仅为 0.017 和 0.057。消融通用 BRH 会使双跳 NLL 增加至随机基准的 39-89x；仅在激活层面增强这些注意力头且无须额外训练，即可修复最高 51.7% 的跨语言推理失败。
来源：arXiv 自然语言处理 · arxiv.org