ホットトピック継続更新中
研究团队提出分层树状索引次二次方注意力机制ZHA
1 件の報道1 件の報道元3 時間前 更新
まずこの件を把握する
AI 概要
2026年11月，研究团队在arXiv发布论文，提出了一种基于分层树状索引器的次二次方稀疏注意力机制Zyphra Hierarchical Attention（ZHA）。该技术通过在KV cache上构建key摘要树，使得总计算开销呈次二次方增长。实验表明，现有的预训练模型仅需通过数十亿token的简短KL蒸馏即可适配ZHA，并在复杂推理等任务中维持既有性能；同时，ZHA在处理超过100万上下文时表现显著优于同类方案，具备扩展至数十亿token上下文窗口的潜力。
AI が報道をもとに生成 · 3 時間前 更新
最新の進展11月2日 13:00
研究团队提出ZHA稀疏注意力机制，具备扩展至数十亿token上下文窗口潜力。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- arXiv 自然语言处理基于分层树状索引器的次二次方注意力机制 ZHA
研究提出基于分层树状索引器的次二次方稀疏注意力机制 Zyphra Hierarchical Attention（ZHA），通过在 KV cache 上构建 key 摘要树使总计算开销呈次二次方增长。现有预训练模型仅需数十亿 token 的简短 KL 蒸馏即可适配并在复杂推理等任务中维持性能，其在超过 100 万上下文时显著优于竞品，具备扩展至数十亿 token 上下文窗口的潜力。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。