NVIDIA TensorRT：可编程推理加速器

NVIDIA TensorRT：可编程推理加速器

一．概述

NVIDIA TensorRT是一个用于高性能深度学习推理的SDK。它包括一个深度学习推理优化器和运行时间，为深度学习推理应用程序提供低延迟和高吞吐量。

在推理过程中，基于TensorRT的应用程序执行速度比仅限CPU的平台快40倍。使用TensorRT，可以优化在所有主要框架中训练的神经网络模型，以高精度校准较低精度，最后部署到高规模数据中心、嵌入式或汽车产品平台。

TensorRT建立在NVIDIA的并行编程模型CUDA的基础上，使能够利用CUDA-X中的库、开发工具和技术，为人工智能、自动化机器、高性能计算和图形优化所有深度学习框架的推理。              TensorRT为深度学习推理应用程序（如视频流、语音识别、推荐和自然语言处理）的生产部署提供INT8和FP16优化。减少的精确推理显著减少了应用程序延迟，这是许多实时服务、自动和嵌入式应用程序的要求。

可以将每个深度学习框架中经过训练的模型导入TensorRT。在应用优化后，TensorRT选择特定于平台的内核，以在数据中心的Tesla gpu、Jetson嵌入式平台和NVIDIA驱动自主驾驶平台上实现性能最大化。

使用TensorRT，开发人员可以专注于创建新的人工智能应用程序，而不是为推理部署进行性能调整。

二．tensorRT开源代码

链接地址：https://github.com/NVIDIA/TensorRT

TensorRT Open Source Software

此存储库包含NVIDIA TensorRT的开源软件（OSS）组件。包括TensorRT插件和解析器（Caffe和ONNX）的源代码，以及演示TensorRT平台的使用和功能的示例应用程序。

Prerequisites

要构建TensorRT OSS组件，请确保满足以下包要求：

System Packages

• CUDA
• GNU Make >= v4.1
• CMake >= v3.13
• Python
• PIP >= v19.0
• Essential libraries and utilities
• Jetson平台的交叉编译需要安装JetPack的主机组件

• Recommended versions:
• cuda-10.2 + cuDNN-7.6
• cuda-10.0 + cuDNN-7.6

• Recommended versions:
• Python2 >= v2.7.15
• Python3 >= v3.6.5

• Git, pkg-config, Wget, Zlib

• JetPack >= 4.2

Optional Packages

• Containerized builds
• Code formatting tools

• Docker >= 1.12
• NVIDIA Docker >= 2.0

• Clang-format
• Git-clang-format

TensorRT Release

• TensorRT v7.0

注意：除了TensorRT OSS组件外，还将下载以下源包，不需要在系统上安装。

ONNX-TensorRT v7.0

• CUB v1.8.0
• Protobuf v3.8.x

 三．Availability

TensorRT可从TensorRT产品页免费向NVIDIA开发人员程序的成员提供，以进行开发和部署。最新版本的插件、解析器和示例也可以从TensorRT github存储库中以开源方式获得。开发人员还可以从NGC容器注册中心在TensorRT容器中获取TensorRT。TensorRT包括在：

NVIDIA Deepstream SDK，用于计算机视觉和智能视频分析（IVA）应用程序中的实时流分析。

NVIDIA DRIVE用于NVIDIA DRIVE PX2自主驾驶平台的安装。

NVIDIA Jetpack for Jetson TX1、TX2嵌入式平台。