现代大模型注意力机制变体全景图解：从 GQA、MLA 到混合架构

Sebastian Raschka 系统梳理了现代主流开源大模型中应用的注意力机制变体与设计权衡。文章重点解析了标准多头注意力（MHA）、分组查询注意力（GQA）、多头潜在注意力（MLA）、滑动窗口注意力（SWA）以及 DeepSeek 稀疏注意力（DSA），展示了各机制在模型表现与 KV Cache 占用上的对比。