vLLM 官方博客（网页）·· 5 時間前厳選AI スコア79
vLLM、Kimi K3.1 ProのDay 0推論サポートを提供開始
vLLM Delivers Day-0 Support for Kimi K3.1 ProNov 4, 2026·22 min readvLLM supports Kimi K3.1 Pro on day 0: sparse attention on a KDA hybrid, a packed KV cache with FP8 or NVFP4 latents and MXFP4 index keys, token-sharded prefill, decode context parallelism, and fused low-latency decode.
AI ガイド
vLLMは、Moonshot AIのオープンソースモデル「Kimi K3.1 Pro」に対するDay 0（リリース初日）の推論サポートを発表し、同モデルのハイブリッドアーキテクチャにおけるDSA（疎なアテンション）機構に完全対応した。本システムはMLA潜在変数、インデックスキー、KDA状態を単一のブロックレベルKVキャッシュに統合し、NVFP4およびMXFP4量子化に対応。8基のGB300搭載構成において、TTFT（初回トークン生成遅延）を最大1.69倍改善した。
推薦理由
原文では疎なアテンションと混合状態KVキャッシュのメモリパッキング設計が詳細に解説されており、長文脈対応の超大規模MoEモデルにおける低遅延デプロイに向けたエンジニアリングの指針を提供している。
出典：vLLM 官方博客（网页） · vllm.ai