arXiv 机器学习· Yao Fu, Cyrus Chang, Ritchie Zhao, Bryce Long, Yueying Li, Mahdi Kamani, Samkit Jain, Rahul Raman, Tara Safavi, Shreya Gupta, Parsa Ashrafi Fashi, Minseok Lee, Julien Demouth, Bita Darvish Rouhani·· 6 小时前AI 评分42
SPIN：面向稀疏注意力的影子预测索引器
SPIN: Shadow Predictive Indexer for Sparse Attention
AI 导读
论文提出面向稀疏注意力的影子预测索引器 SPIN，通过轻量级历史预测识别重要 KV blocks，避免在每个解码步为全量 KV cache 评分。在长上下文和智能体基准测试中，SPIN 在保持任务质量的同时实现 30-40% 稀疏度。在端到端 vLLM 服务中，其输出吞吐量最高提升 14.9%，并将中位数 token 间延迟降低最多 13.2%。
来源：arXiv 机器学习 · arxiv.org