本文へスキップ
原文
vLLM 官方博客(网页)·· 4 日前厳選AI スコア82

vLLM 推出 Mistral Large 4 首日支持

Day 0 support for Mistral Large 4 on vLLMOct 29, 2026·27 min readDay-0 vLLM support for Mistral Large 4 with sparse MLA, cross-layer KV sharing, DSpark speculative decoding, DCP/PCP long context and NIXL P/D on NVIDIA Blackwell.

未翻訳のため中国語で表示しています。

AI ガイド

vLLM 正式推出对 Mistral Large 4 的首日支持,适配其稀疏 MLA、跨层 KV 共享与内置 DSpark 投机解码架构。官方在 Model Runner V2 上通过上下文并行优化使长文本首字延迟降低最多 1.6 倍,并同步支持 NVIDIA Blackwell NVFP4、AMD MI350 系列与 TPU v7x 多平台部署。

推薦理由

原文完整拆解了对稀疏MLA与跨层KV共享的工程实现,为超大MoE模型在异构硬件上的长上下文推理提供了落地参考。

出典:vLLM 官方博客(网页) · vllm.ai