跳到正文
原文
NVIDIA Developer Blog· Michelle Horton·· 3 小时前AI 评分36

ReplaySSM:重新审视状态存储以加速混合模型解码

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

ReplaySSM 通过重新思考状态存储机制来加速混合模型的解码过程。混合模型将状态空间模型(SSM)层与少量注意力层交替结合,涵盖 NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 等架构。这类模型采用 Mamba-2、GDN 或 KDA 作为 SSM 层,利用固定大小状态替代随序列增长的 KV cache,以提升解码速度。

来源:NVIDIA Developer Blog · developer.nvidia.com