arXiv 自然语言处理· Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng·· 7 小时前AI 评分35
基于广义二阶路由的多状态线性注意力机制
Multi-State Linear Attention with Generalized Second-Order Routing
AI 导读
研究人员提出 MERLIN 路由方法，通过跟踪分段 key 的一阶与二阶矩引入对齐均值和方差，增强多状态线性注意力机制的长上下文聚合能力。在 Gated DeltaNet-1.3B 与 Mamba-2-780M 上的实验显示，MERLIN 使 RULER 任务分别提升 8.3% 和 7.0%，LongBench 提升 13.5% 和 12.0%，综合表现甚至优于消耗 4x 内存的基线方法。
来源：arXiv 自然语言处理 · arxiv.org