跳到正文
原文
NVIDIA Developer Blog· Tanya Lenz·· 4 小时前AI 评分17

借助 Global Performance Tuner 扩展 NVIDIA TensorRT 性能优化:超越单一构建路径(第 1 部分)

Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 1

AI 导读

NVIDIA TensorRT 借助 Global Performance Tuner 拓展超越单一构建路径的性能优化能力。在构建引擎时,模型部署不仅是将算子转为 GPU kernel 的编译问题,TensorRT 还需针对 graph-IR 转换、融合、实现选择、内存布局与量化等环节做出相互依赖的调度决策。

来源:NVIDIA Developer Blog · developer.nvidia.com