跳到正文
热点事件持续更新

研究者提出多状态线性注意力路由方法MERLIN

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

2026年10月28日,研究人员在arXiv发布关于广义二阶路由多状态线性注意力机制的成果,提出名为MERLIN的路由方法。该方法通过跟踪分段key的一阶与二阶矩引入对齐均值和方差,以增强多状态线性注意力机制的长上下文聚合能力。在Gated DeltaNet-1.3B与Mamba-2-780M模型上的实验显示,MERLIN使RULER任务表现分别提升8.3%和7.0%,LongBench评测分别提升13.5%和12.0%,其综合表现优于消耗4倍内存的基线方法。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv 自然语言处理
    基于广义二阶路由的多状态线性注意力机制

    研究人员提出 MERLIN 路由方法,通过跟踪分段 key 的一阶与二阶矩引入对齐均值和方差,增强多状态线性注意力机制的长上下文聚合能力。在 Gated DeltaNet-1.3B 与 Mamba-2-780M 上的实验显示,MERLIN 使 RULER 任务分别提升 8.3% 和 7.0%,LongBench 提升 13.5% 和 12.0%,综合表现甚至优于消耗 4x 内存的基线方法。

本事件热度走势

当前热度 8·可比范围峰值 10(10月28日 13:00)·近 24 小时可比范围变化 –

02.557.51010月28日13:0010月28日15:0010月28日16:0010月28日18:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。