arXiv 自然语言处理· Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia·· 5 小时前AI 评分40
面向循环语言模型的混合潜在注意力机制（Hybrid Latent Attention）
Hybrid Latent Attention for Looped Language Models
AI 导读
研究人员提出混合潜在注意力（HLA），将循环语言模型单 token 的 KV cache 缩减 10.7x，使单 GPU 并发序列提升 4.0-8.8x。在 1.4B 与 2.6B 的 Ouro 模型上，其解码吞吐量在 1K 上下文提升 2.5x、16K 上下文下最高提升 7.4x。此外，HLA 在数学和推理基准上保留了超 97% 的原模型准确率。
来源：arXiv 自然语言处理 · arxiv.org