跳到正文
热点事件持续更新

北邮团队开源高效注意力机制MiTA

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

北京邮电大学团队开源了高效注意力机制 MiTA(Mixture-of-Top-k Attention)。该机制从快权重视角重新理解注意力,将其表述为快权重 FFN,通过地标查询构造出兼顾全局概括与原始细节的可复用专家。在性能表现方面,MiTA 在 LRA 长序列基准上的平均准确率达到 58.91%,训练时间缩短约 77% 至 2.4 小时,并在 1024K 序列长度下实现了约 159 倍的推理加速。

AI 根据报道生成 · 7 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. AITNT · AI头条
    注意力也是FFN?MiTA 从快权重视角重新理解高效注意力

    北京邮电大学团队开源 MiTA(Mixture-of-Top-k Attention),将注意力机制表述为快权重 FFN,通过地标查询构造兼顾全局概括与原始细节的可复用专家。在 LRA 长序列基准上,MiTA 平均准确率达 58.91%,训练时间缩短约 77% 至 2.4 小时,并在 1024K 序列长度下实现约 159 倍推理加速。

本事件热度走势

当前热度 8·可比范围峰值 10(10月12日 12:00)·近 24 小时可比范围变化 –

02.557.51010月12日12:0010月12日14:0010月12日17:0010月12日19:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。