研究团队提出分层树状索引次二次方注意力机制ZHA
Start here
2026年11月，研究团队在arXiv发布论文，提出了一种基于分层树状索引器的次二次方稀疏注意力机制Zyphra Hierarchical Attention（ZHA）。该技术通过在KV cache上构建key摘要树，使得总计算开销呈次二次方增长。实验表明，现有的预训练模型仅需通过数十亿token的简短KL蒸馏即可适配ZHA，并在复杂推理等任务中维持既有性能；同时，ZHA在处理超过100万上下文时表现显著优于同类方案，具备扩展至数十亿token上下文窗口的潜力。
AI-generated from reports · Updated 3 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理基于分层树状索引器的次二次方注意力机制 ZHA
研究提出基于分层树状索引器的次二次方稀疏注意力机制 Zyphra Hierarchical Attention（ZHA），通过在 KV cache 上构建 key 摘要树使总计算开销呈次二次方增长。现有预训练模型仅需数十亿 token 的简短 KL 蒸馏即可适配并在复杂推理等任务中维持性能，其在超过 100 万上下文时显著优于竞品，具备扩展至数十亿 token 上下文窗口的潜力。
Story heat trend
Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.