vLLM 官方博客（网页）·· 2026-09-30厳選AI スコア70
vLLM 官方首发支持 1T 多模态模型 TML Inkling
TML Inkling on vLLM: Day-0 Support with Optimized PerformanceJul 15, 2026·8 min readvLLM brings day-0 support to TML Inkling, a 1T-parameter multimodal model, with MTP, long-context serving, parallelism, and up to 380 tokens per second per user on NVIDIA GB200 GPUs.
未翻訳のため中国語で表示しています。
AI ガイド
vLLM 宣布首发支持 Thinking Machines Lab 推出的 1T 参数原生多模态模型 TML Inkling，覆盖 NVFP4 与 BF16 两个版本，原生支持文本、图像与音频输入及最高 1M 上下文。
推薦理由
框架通过短卷积分片与通信融合等算子优化完成了万亿多模态模型适配，为超大模型长上下文推理提供了工程参考。
出典：vLLM 官方博客（网页） · vllm.ai