arXiv 机器学习· Shiyu Ji, Peng Ling, Chen Lin, Shupeng Li, Yixuan Wang, Qingfu Zhu, Wanxiang Che·· 10 小时前AI 评分41
RoLaQ：面向多头潜在注意力的 2-Bit KV Cache 联合旋转与范围校准方法
RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
AI 导读
研究人员提出离线校准方法 RoLaQ，通过联合旋转与范围校准优化多头潜在注意力（MLA）下的 2-bit KV cache。在 3 个 MLA 模型和 6 个 benchmark 测试中，RoLaQ 在有无 token 保护的对比 2-bit 方法中均取得最高平均准确率。
来源：arXiv 机器学习 · arxiv.org