注意力也是FFN？MiTA 从快权重视角重新理解高效注意力

北京邮电大学团队开源 MiTA（Mixture-of-Top-k Attention），将注意力机制表述为快权重 FFN，通过地标查询构造兼顾全局概括与原始细节的可复用专家。在 LRA 长序列基准上，MiTA 平均准确率达 58.91%，训练时间缩短约 77% 至 2.4 小时，并在 1024K 序列长度下实现约 159 倍推理加速。