arXiv 自然语言处理· Hanbin Bae, Heejin Choi, Joohyung Lee, Byoung Jin Choi, Sangjun Park, Hoon-Young Cho·· 8 小时前AI 评分41
HyCo：用于高性价比端云推测解码的混合草稿生成方案
HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding
AI 导读
研究人员提出端云推测解码方案 HyCo，将深度草稿生成分配给在端侧 NPU 运行的云端模型原生 MTP 头，并将分支生成分配给小语言模型单次推理。
来源：arXiv 自然语言处理 · arxiv.org