跳到正文
原文
vLLM 官方博客(网页)·· 2 小时前精选AI 评分81

vLLM 宣布首日支持 Meta Muse Spark Open 模型

Day 0 support for Muse Spark Open on vLLMOct 15, 2026·8 min readDay-0 vLLM support for Muse Spark Open: 816B MoE, 1M context, multimodal inputs, DSpark speculative decoding, NVIDIA and AMD serving, initial TPU support, and LoRA RL.

AI 导读

vLLM 宣布首日支持 Meta 推出的 816B 参数 MoE 模型 Muse Spark Open,提供 1M 上下文窗口、多模态输入及 DSpark 推测解码加速。该模型采用 42B 激活参数与混合滑动窗口注意力,官方提供了 NVIDIA、AMD 与 TPU 的推理支持,并支持结合 Verl FSDP2 进行 LoRA 强化学习训练。用户可通过预构建镜像及对应参数直接启动服务。

推荐理由

原文给出了超大 MoE 架构的高效推理部署配置与多硬件支持细节,读者可据此复用其推测解码与并行方案。

来源:vLLM 官方博客(网页) · vllm.ai