arXiv 机器学习· Zongyue Qin, Haoran Deng, Jason Cong, Yizhou Sun·· 9 小时前AI 评分33
面向有效线性注意力的可学习低秩多项式 Sketch（LLoPS）
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
AI 导读
研究人员提出可学习低秩多项式 Sketch（LLoPS）框架，用于在线性注意力中逼近多项式核。LLoPS 通过学习低秩多项式 sketch，在理论上被证明可取得严格小于现有方法的逼近误差。实验结果显示，与多种线性注意力基线相比，LLoPS 在广泛的基准测试中均取得了最高性能。
来源：arXiv 机器学习 · arxiv.org