arXiv 机器学习· Fanxu Meng, Taosong Fang·· 7 小时前AI 评分38
DoSA:点稀疏注意力(Dots Sparse Attention)
DoSA: Dots Sparse Attention
AI 导读
研究人员提出无损稀疏注意力方法 DoSA,在保证精确 token 选择的同时将 Top-K 计算条件化,避免全量打分。其 GPU 实现在英文、中文及代码任务中使 Indexer 较 SGLang 最高加速 2.74 倍、较 LiteTopK 最高加速 1.69 倍。在 GLM-5.2 和 DeepSeek-V3.2 端到端评测中,首字延迟较基准分别取得最高 1.94 倍和 1.50 倍加速。
来源:arXiv 机器学习 · arxiv.org