arXiv 机器学习· Michel Fabrice Serret, Laura Grigori·· 5 小时前AI 评分33
用于注意力机制上下文压缩的核插值方法
Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
AI 导读
针对注意力机制二次复杂度瓶颈，研究人员提出基于核空间插值的 GAIM 与 Q-DAIM 两种新型 KV cache 压缩方法。该研究通过引入泰勒级数、Performer 和随机傅里叶特征等代理模型将压缩计算降至线性时间，并扩展支持流式注意力设置。实验表明其在 LongBench-E 基准上取得了与 SOTA 相当的性能表现。
来源：arXiv 机器学习 · arxiv.org