arXiv 自然语言处理· Noam Elata, Itay Lamprecht, Mikey Shechter, Daniel Ohayon, Itay Hubara, Daniel Soudry·· 7 小时前AI 评分42
非对称稀疏注意力 SAGA：解耦 Key 与 Value 头数加速大语言模型解码
More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding
AI 导读
研究人员提出稀疏非对称分组查询注意力（SAGA）及 Atop-N 方法，通过减少 Key 头数以加速推理、保留更多 Value 头数以维持模型容量。在长上下文场景下，SAGA 与 Atop-N 相比全注意力 GQA 基线实现了超过 2x 的端到端解码加速，并在最高 1.5B 参数模型上保持了接近 GQA 的生成质量。该研究还提供了一种高效微调方法，可将现有预训练模型直接转换为 SAGA 架构。
来源：arXiv 自然语言处理 · arxiv.org