HybridSpec：面向混合 GDN-MoE 模型的吞吐感知投机解码

研究者提出面向混合 GDN-MoE 模型的投机解码方案 HybridSpec，可在 GPU 上动态选择验证长度并利用轻量路由校正优化验证过程。其块并行 GDN 内核在验证长度 4 至 16 下较默认内核提速 1.54x-4.04x。在三款 GDN-MoE 目标模型的单请求贪婪解码中，HybridSpec 较自回归解码提速 1.75x-1.88x，较 DFlash 提速 1.30x-1.33x。