arXiv 自然语言处理· Jo\~ao Eduardo Batista, Emil Vatai, Mohamed Wahib·· 10 小时前AI 评分42
无需重训练加速大规模混合大语言模型长上下文解码
Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining
AI 导读
研究提出一种免重训练的组合稀疏注意力方法，无需改变模型权重即可加速大规模混合大语言模型的长上下文解码。该方法在覆盖 4B 至 397B 参数的 6 款混合模型上完成测试，在 21 个长上下文数据集上保持了基线准确率。在 64k/256k token 解码时，Qwen3.5-4B 提速达 1.26x/2.22x，Ornith-1.0-397B 提速达 1.16x/2.06x。
来源：arXiv 自然语言处理 · arxiv.org