NVIDIA Developer Blog· Tanya Lenz·· 2026-09-22SelectedAI score65
NVIDIA Dynamo-Triton 集成 TensorRT 多设备推理以简化多 GPU 模型服务
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
Not yet translated; shown in Chinese.
AI guide
NVIDIA 推出 TensorRT 多设备推理能力并在 Dynamo-Triton 中完成集成，旨在简化多 GPU 场景下的模型服务。该能力基于 NCCL 分布式通信集合，允许单个 TensorRT 网络跨多张 GPU 执行，同时保留 TensorRT 的推理优化性能，已自 TensorRT 11.0 起获得完整支持。
Why it matters
原文介绍了基于 NCCL 的多 GPU 分布式推理新特性，读者可据此了解 TensorRT 11.0 的多卡部署优化机制。
Source:NVIDIA Developer Blog · developer.nvidia.com