研究团队提出端云混合推测解码框架HyCo

2026年10月16日，研究团队在 arXiv 发布自然语言处理领域研究成果，提出了一种用于高性价比端云推测解码的混合草稿生成方案 HyCo。该方案针对端云协作场景，通过混合草稿生成机制优化推测解码过程：具体将深度草稿生成分配给在端侧 NPU 上运行的云端模型原生 MTP 头，同时将分支生成任务分配给小语言模型的单次推理来完成。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。