arXiv 自然语言处理· Aman Behera, Namit Solanki, Mehul Anand·· 7 小时前AI 评分34
长上下文问答中不同序列混合器的证据位置偏差研究
Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering
AI 导读
研究对比 Transformer、状态空间模型及混合 Mamba 架构发现，Transformer 在长上下文问答中表现出状态空间模型缺乏的开头证据优势，而两类架构均偏向末尾证据。纯与混合 Mamba 对比趋势类似但统计上不确定，且提示词调整可产生或消除开头优势。结果表明有效上下文利用受架构族、模型能力、任务及提示词共同影响。
来源：arXiv 自然语言处理 · arxiv.org