arXiv 自然语言处理· Fang Wan, Xufeng Liu, Fan Li, Yi Liu·· 3 小时前AI 评分39
稀疏注意力本质是矩阵逼近而非数值挑选
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
AI 导读
研究人员提出 MASA（Matrix Approximation Sparse Attention），指出稀疏注意力本质应是矩阵逼近而非简单挑选大数值。MASA 采用闭式解评分衡量稀疏单元对矩阵乘积近似误差的降低程度，可作为即插即用模块直接嵌入现有稀疏注意力框架，无需修改稀疏内核与计算预算。实验表明，该方法在多种稀疏注意力方法、基准评测和 LLM 主干模型上均实现了一致的精度提升。
来源：arXiv 自然语言处理 · arxiv.org