跳到正文
热点事件持续更新

研究揭示不同架构在长上下文问答中的位置偏差差异

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月23日发表于arXiv的一项研究,对比了Transformer、状态空间模型及混合Mamba等不同架构在长上下文问答中的证据位置偏差。研究发现,Transformer表现出状态空间模型所缺乏的开头证据优势,而两类架构均对末尾证据表现出偏向。纯Mamba与混合Mamba之间的对比趋势相似,但统计上存在不确定性。此外,研究指出调整提示词能够产生或消除开头优势,这表明模型的有效上下文利用能力是由架构族、模型能力、具体任务以及提示词等因素共同决定的。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv 自然语言处理
    长上下文问答中不同序列混合器的证据位置偏差研究

    研究对比 Transformer、状态空间模型及混合 Mamba 架构发现,Transformer 在长上下文问答中表现出状态空间模型缺乏的开头证据优势,而两类架构均偏向末尾证据。纯与混合 Mamba 对比趋势类似但统计上不确定,且提示词调整可产生或消除开头优势。结果表明有效上下文利用受架构族、模型能力、任务及提示词共同影响。

本事件热度走势

当前热度 8·可比范围峰值 10(10月23日 13:00)·近 24 小时可比范围变化 –

02.557.51010月23日13:0010月23日15:0010月23日16:0010月23日18:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。