Skip to content
Hot storiesContinuously updated

研究者提出面向GDN-MoE的投机解码方案HybridSpec

1 reports1 reporting sourcesUpdated 20 hours ago

Start here

AI overview

2026年11月4日,研究者在arXiv发布论文,提出面向混合GDN-MoE模型的吞吐感知投机解码方案HybridSpec。该方案可在GPU上动态选择验证长度,并利用轻量路由校正优化验证过程。其块并行GDN内核在验证长度为4至16时,相较默认内核提速1.54倍至4.04倍。在三款GDN-MoE目标模型的单请求贪婪解码测试中,HybridSpec相比自回归解码提速1.75倍至1.88倍,相比DFlash提速1.30倍至1.33倍。

AI-generated from reports · Updated 20 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 4
  1. arXiv 人工智能
    HybridSpec:面向混合 GDN-MoE 模型的吞吐感知投机解码

    研究者提出面向混合 GDN-MoE 模型的投机解码方案 HybridSpec,可在 GPU 上动态选择验证长度并利用轻量路由校正优化验证过程。其块并行 GDN 内核在验证长度 4 至 16 下较默认内核提速 1.54x-4.04x。在三款 GDN-MoE 目标模型的单请求贪婪解码中,HybridSpec 较自回归解码提速 1.75x-1.88x,较 DFlash 提速 1.30x-1.33x。

Story heat trend

Current heat 6·Comparable peak 10(Nov 4 14:00)·Comparable change, last 24 hours–

02.557.510Nov4Nov4Nov5Nov5

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.