arXiv 机器学习· Utkarsh Kanwat·· 6 小时前AI 评分35
将注意力偏置折叠至 Key：让压缩 KV cache 可在标准算子中运行
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
AI 导读
研究者提出将 Attention Matching（AM）的注意力偏置折叠进 Key，使压缩 KV cache 能直接在 FlashAttention 与未修改的 vLLM 等标准算子上运行。
来源：arXiv 机器学习 · arxiv.org