arXiv 自然语言处理· Leon Lufkin, Cutter Dawes, Alexander Speicher, Kamesh Krishnamurthy, Tom\'as Figliolia, Beren Millidge·· 4 hours agoAI score43
基于分层树状索引器的次二次方注意力机制 ZHA
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Not yet translated; shown in Chinese.
AI guide
研究提出基于分层树状索引器的次二次方稀疏注意力机制 Zyphra Hierarchical Attention（ZHA），通过在 KV cache 上构建 key 摘要树使总计算开销呈次二次方增长。现有预训练模型仅需数十亿 token 的简短 KL 蒸馏即可适配并在复杂推理等任务中维持性能，其在超过 100 万上下文时显著优于竞品，具备扩展至数十亿 token 上下文窗口的潜力。
Source:arXiv 自然语言处理 · arxiv.org