arXiv 机器学习· Serdarcan Dilbaz, Arjun Krishna, Kiran Kamble, Daniel M. Bikel·· 12 小时前AI 评分47
Multi-layer Indexer：在 DeepSeek 稀疏注意力中重叠选择与注意力计算
Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention
AI 导读
研究者提出 Multi-layer Indexer（MLI），通过并发重叠索引器扫描与注意力计算，加速 DeepSeek-V3.2 与 GLM-5 的长上下文解码。MLI 无需重新训练且可在 SGLang 运行，在 128K 上下文下实现原模型 1.32x 的解码吞吐量，解码速度较 IndexCache 提升最高 14.5%。
来源：arXiv 机器学习 · arxiv.org