NVIDIA Developer Blog· Tanya Lenz·· 4 小时前AI 评分17
借助 Global Performance Tuner 扩展 NVIDIA TensorRT 性能优化:超越单一构建路径(第 1 部分)
Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 1
AI 导读
NVIDIA TensorRT 借助 Global Performance Tuner 拓展超越单一构建路径的性能优化能力。在构建引擎时,模型部署不仅是将算子转为 GPU kernel 的编译问题,TensorRT 还需针对 graph-IR 转换、融合、实现选择、内存布局与量化等环节做出相互依赖的调度决策。
来源:NVIDIA Developer Blog · developer.nvidia.com