arXiv 自然语言处理· Yufa Zhou·· 5 小时前AI 评分44
上下文关系的几何特征：大语言模型按提及顺序寻址事实
The Geometry of Contextual Relations: Language Models Address Facts by Order of Mention
AI 导读
大语言模型（LLM）在处理上下文时根据事实的提及顺序而非实体名称来寻址事实。在 Qwen、Gemma 和 Llama（涵盖 1.5B 至 32B 参数）上的测试表明，事实地址分布在低秩子空间中，支持通过序数向量（ordinal vector）进行操控，且首个提及的事实最易提取。该机制在模型中后层涌现并在预训练早期形成。
来源：arXiv 自然语言处理 · arxiv.org