热点事件观察中
研究团队提出NAMOH原生稀疏注意力机制
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026年10月，研究团队在arXiv发布论文，提出一种基于Mixture-of-Head架构的原生稀疏注意力机制NAMOH。在该机制中，每个token仅激活H个头中的K个，且各注意力头仅保留分配给自身的token并在子序列内执行因果注意力，从而在不增加总KV存储的前提下减少单个token的KV访问量。实验结果显示，NAMOH的性能优于同等总参数的全激活模型，其长上下文推理效率高于同激活参数的稠密模型，同时兼容GQA机制。
AI 根据报道生成 · 1 小时前更新
最新进展10月1日 12:00
研究团队提出基于Mixture-of-Head的原生稀疏注意力机制NAMOH，兼容GQA。报道时间线
沿着报道，了解事件的不同侧面。
10月1日
- arXiv 自然语言处理扩展注意力参数与上下文：基于 Mixture-of-Head 的原生稀疏注意力机制 NAMOH
研究团队提出 NAMOH，一种基于 Mixture-of-Head 的架构原生稀疏注意力机制，每个 token 仅激活 H 个头中的 K 个。每个头仅保留分配给它的 token 并在子序列内执行因果注意力，在不增加总 KV 存储的情况下减少单 token 的 KV 访问。实验表明 NAMOH 性能优于同等总参数的全激活模型，长上下文推理效率高于同激活参数的稠密模型，且兼容 GQA。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。