vLLM 官方博客（网页）·· 4 小时前精选AI 评分74
vLLM 优化 Kimi K3 在 AMD MI355X 上的推理性能：AgentX 基准吞吐超越 NVIDIA B300
Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentXOct 16, 2026·24 min readInside the Kimi K3 optimization effort: understanding the bottlenecks and the decisions that made inference faster
AI 导读
在 AgentX 基准评测中，8 卡 AMD Instinct MI355X 系统使用 vLLM 运行 Kimi K3 时，在 50 tokens/s/user P90 交互延迟下实现每 GPU 约 7,567 tokens/s 的总吞吐量，比 NVIDIA HGX B300 高出 24.4%，按 TCO 模型换算每美元 token 产出提升 87.4%。
推荐理由
原文系统拆解了针对 MoE、MLA 和长上下文状态的端到端调度优化方案，为异构硬件适配超大模型提供了可迁移的工程参考。
来源：vLLM 官方博客（网页） · vllm.ai