热点事件持续更新
研究揭示大语言模型按提及顺序寻址事实机制
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月2日发布的研究揭示了大语言模型在上下文处理中的事实寻址机制。研究表明,大语言模型是根据事实的提及顺序而非实体名称来寻址事实。在覆盖1.5B至32B参数规模的Qwen、Gemma和Llama模型上的测试显示,事实地址分布在低秩子空间中,支持通过序数向量进行操控,且首个提及的事实最容易被提取。此外,该寻址机制在模型中后层涌现,并在预训练早期阶段便已形成。
AI 根据报道生成 · 3 小时前更新
最新进展10月2日 12:00
研究发现在Qwen、Llama等模型中事实按提及顺序寻址,首个事实最易提取。报道时间线
沿着报道,了解事件的不同侧面。
10月2日
- arXiv 自然语言处理上下文关系的几何特征:大语言模型按提及顺序寻址事实
大语言模型(LLM)在处理上下文时根据事实的提及顺序而非实体名称来寻址事实。在 Qwen、Gemma 和 Llama(涵盖 1.5B 至 32B 参数)上的测试表明,事实地址分布在低秩子空间中,支持通过序数向量(ordinal vector)进行操控,且首个提及的事实最易提取。该机制在模型中后层涌现并在预训练早期形成。
本事件热度走势
当前热度 9·可比范围峰值 10(10月2日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。