arXiv 自然语言处理· Eric Enouen, Sainyam Galhotra·· 1 天前AI 评分39
位置编码选择如何塑造大语言模型的上下文检索机制
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
AI 导读
研究表明，位置编码选择直接决定了大语言模型的上下文检索机制：标准 RoPE 模型主要依赖位置检索，而混合位置编码（PE hybrids）则转向语义检索。对 8 个模型族共 22 个开源权重模型的分析和预训练消融显示，将位置编码限制在局部层会削弱位置信息表征。这种 SWA NoPE 混合架构虽提升了多目标检索与问答表现，但在区分竞争键时性能下降。
来源：arXiv 自然语言处理 · arxiv.org