vLLM 官方博客（网页）·· 23 小时前精选AI 评分75
vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型推理
Announcing Day-0 Support for NVIDIA Nemotron 3.5 Lightning on vLLMAug 10, 2026·11 min readHow vLLM serves NVIDIA Nemotron 3.5 Lightning with OpenAI-compatible APIs, speculative decoding, and BF16/NVFP4 checkpoints across NVIDIA GPUs and edge systems.
AI 导读
vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型，提供兼容 OpenAI 的 API 接口及完整的高吞吐推理部署方案。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，支持 100 万 token 上下文并提供 BF16 与 NVFP4 权重。
推荐理由
文章提供了在多种硬件平台上利用投机解码加速运行该智能体模型的完整部署配置与调优方法。
来源：vLLM 官方博客（网页） · vllm.ai