arXiv 人工智能· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 1 天前AI 评分46
RAQ-MLA：面向多头潜在注意力（MLA）缓存的角色感知量化方法
RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
AI 导读
研究人员提出针对多头潜在注意力（MLA）缓存的量化方法 RAQ-MLA，无需训练即可将完整 MLA 缓存量化至约 2.5 bits，理论 KV cache 容量提升 6.5x。该方法针对负责提供值的潜变量与主导注意力分数的位置键分别拟合可逆变换以抑制误差传递。测试表明，该方法在 4 个 MLA 模型的推理与代码任务中均实现了近乎无损的表现。
来源：arXiv 人工智能 · arxiv.org