GLM-5.3 稀疏注意力机制如何影响 HBM 显存占用与推理成本

稀疏注意力虽然减少了核心 SDPA 计算的带宽消耗，但因 Top-k 筛选仍需完整上下文，并未直接打破 HBM 容量瓶颈。通过 SGLang 的 HiSparse 等分层显存系统将 KV cache 卸载至主机 DRAM，可在高并发长上下文场景下保持 95% 以上缓存命中率并提升吞吐。