研究者提出面向GDN-MoE的投机解码方案HybridSpec
Start here
2026年11月4日,研究者在arXiv发布论文,提出面向混合GDN-MoE模型的吞吐感知投机解码方案HybridSpec。该方案可在GPU上动态选择验证长度,并利用轻量路由校正优化验证过程。其块并行GDN内核在验证长度为4至16时,相较默认内核提速1.54倍至4.04倍。在三款GDN-MoE目标模型的单请求贪婪解码测试中,HybridSpec相比自回归解码提速1.75倍至1.88倍,相比DFlash提速1.30倍至1.33倍。
AI-generated from reports · Updated 20 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能HybridSpec:面向混合 GDN-MoE 模型的吞吐感知投机解码
研究者提出面向混合 GDN-MoE 模型的投机解码方案 HybridSpec,可在 GPU 上动态选择验证长度并利用轻量路由校正优化验证过程。其块并行 GDN 内核在验证长度 4 至 16 下较默认内核提速 1.54x-4.04x。在三款 GDN-MoE 目标模型的单请求贪婪解码中,HybridSpec 较自回归解码提速 1.75x-1.88x,较 DFlash 提速 1.30x-1.33x。
Story heat trend
Current heat 6·Comparable peak 10(Nov 4 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.