热点事件持续更新
研究团队提出分层树状索引次二次方注意力机制ZHA
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月，研究团队在arXiv发布论文，提出了一种基于分层树状索引器的次二次方稀疏注意力机制Zyphra Hierarchical Attention（ZHA）。该技术通过在KV cache上构建key摘要树，使得总计算开销呈次二次方增长。实验表明，现有的预训练模型仅需通过数十亿token的简短KL蒸馏即可适配ZHA，并在复杂推理等任务中维持既有性能；同时，ZHA在处理超过100万上下文时表现显著优于同类方案，具备扩展至数十亿token上下文窗口的潜力。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
研究团队提出ZHA稀疏注意力机制，具备扩展至数十亿token上下文窗口潜力。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv 自然语言处理基于分层树状索引器的次二次方注意力机制 ZHA
研究提出基于分层树状索引器的次二次方稀疏注意力机制 Zyphra Hierarchical Attention（ZHA），通过在 KV cache 上构建 key 摘要树使总计算开销呈次二次方增长。现有预训练模型仅需数十亿 token 的简短 KL 蒸馏即可适配并在复杂推理等任务中维持性能，其在超过 100 万上下文时显著优于竞品，具备扩展至数十亿 token 上下文窗口的潜力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。