arXiv 人工智能· Haiyu Wang, Sai Qian Zhang, Zechun Liu, Steven Li·· 15 時間前AI スコア34
HybridSpec：面向混合 GDN-MoE 模型的吞吐感知投机解码
HybridSpec: Throughput-Aware Speculative Decoding for Hybrid GDN-MoE Models
未翻訳のため中国語で表示しています。
AI ガイド
研究者提出面向混合 GDN-MoE 模型的投机解码方案 HybridSpec，可在 GPU 上动态选择验证长度并利用轻量路由校正优化验证过程。其块并行 GDN 内核在验证长度 4 至 16 下较默认内核提速 1.54x-4.04x。在三款 GDN-MoE 目标模型的单请求贪婪解码中，HybridSpec 较自回归解码提速 1.75x-1.88x，较 DFlash 提速 1.30x-1.33x。
出典：arXiv 人工智能 · arxiv.org