大语言模型架构最新进展：KV 共享、mHC 与压缩注意力

Sebastian Raschka 梳理了解读近期开源大语言模型在长上下文效率上的核心架构演进。文章重点分析了 Gemma 4 的跨层 KV 共享与分层嵌入（PLE）、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力（CCA），以及 DeepSeek V4 采用的流形约束超连接（mHC）与 CSA/HCA 混合压缩注意力。