热点事件持续更新
北邮团队开源高效注意力机制MiTA
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
北京邮电大学团队开源了高效注意力机制 MiTA(Mixture-of-Top-k Attention)。该机制从快权重视角重新理解注意力,将其表述为快权重 FFN,通过地标查询构造出兼顾全局概括与原始细节的可复用专家。在性能表现方面,MiTA 在 LRA 长序列基准上的平均准确率达到 58.91%,训练时间缩短约 77% 至 2.4 小时,并在 1024K 序列长度下实现了约 159 倍的推理加速。
AI 根据报道生成 · 7 小时前更新
最新进展10月12日 11:59
北邮团队开源MiTA机制,大幅缩短长序列训练时间并实现最高约159倍推理加速。报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- AITNT · AI头条注意力也是FFN?MiTA 从快权重视角重新理解高效注意力
北京邮电大学团队开源 MiTA(Mixture-of-Top-k Attention),将注意力机制表述为快权重 FFN,通过地标查询构造兼顾全局概括与原始细节的可复用专家。在 LRA 长序列基准上,MiTA 平均准确率达 58.91%,训练时间缩短约 77% 至 2.4 小时,并在 1024K 序列长度下实现约 159 倍推理加速。
本事件热度走势
当前热度 8·可比范围峰值 10(10月12日 12:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。