热点事件持续更新
研究者提出多状态线性注意力路由方法MERLIN
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月28日,研究人员在arXiv发布关于广义二阶路由多状态线性注意力机制的成果,提出名为MERLIN的路由方法。该方法通过跟踪分段key的一阶与二阶矩引入对齐均值和方差,以增强多状态线性注意力机制的长上下文聚合能力。在Gated DeltaNet-1.3B与Mamba-2-780M模型上的实验显示,MERLIN使RULER任务表现分别提升8.3%和7.0%,LongBench评测分别提升13.5%和12.0%,其综合表现优于消耗4倍内存的基线方法。
AI 根据报道生成 · 6 小时前更新
最新进展10月28日 12:00
研究者提出MERLIN路由方法,显著提升模型长上下文表现并优于4倍内存消耗的基线。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv 自然语言处理基于广义二阶路由的多状态线性注意力机制
研究人员提出 MERLIN 路由方法,通过跟踪分段 key 的一阶与二阶矩引入对齐均值和方差,增强多状态线性注意力机制的长上下文聚合能力。在 Gated DeltaNet-1.3B 与 Mamba-2-780M 上的实验显示,MERLIN 使 RULER 任务分别提升 8.3% 和 7.0%,LongBench 提升 13.5% 和 12.0%,综合表现甚至优于消耗 4x 内存的基线方法。
本事件热度走势
当前热度 8·可比范围峰值 10(10月28日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。