跳到正文
热点事件持续更新

研究揭示大语言模型按提及顺序寻址事实机制

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

2026年10月2日发布的研究揭示了大语言模型在上下文处理中的事实寻址机制。研究表明,大语言模型是根据事实的提及顺序而非实体名称来寻址事实。在覆盖1.5B至32B参数规模的Qwen、Gemma和Llama模型上的测试显示,事实地址分布在低秩子空间中,支持通过序数向量进行操控,且首个提及的事实最容易被提取。此外,该寻址机制在模型中后层涌现,并在预训练早期阶段便已形成。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. arXiv 自然语言处理
    上下文关系的几何特征:大语言模型按提及顺序寻址事实

    大语言模型(LLM)在处理上下文时根据事实的提及顺序而非实体名称来寻址事实。在 Qwen、Gemma 和 Llama(涵盖 1.5B 至 32B 参数)上的测试表明,事实地址分布在低秩子空间中,支持通过序数向量(ordinal vector)进行操控,且首个提及的事实最易提取。该机制在模型中后层涌现并在预训练早期形成。

本事件热度走势

当前热度 9·可比范围峰值 10(10月2日 13:00)·近 24 小时可比范围变化 –

02.557.51010月2日13:0010月2日14:0010月2日14:0010月2日15:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。