NVIDIA TensorRT:可编程推理加速器

一.概述

NVIDIA TensorRT是一个用于高性能深度学习推理的SDK。它包括一个深度学习推理优化器和运行时间,为深度学习推理应用程序提供低延迟和高吞吐量。

在推理过程中,基于TensorRT的应用程序执行速度比仅限CPU的平台快40倍。使用TensorRT,可以优化在所有主要框架中训练的神经网络模型,以高精度校准较低精度,最后部署到高规模数据中心、嵌入式或汽车产品平台。

TensorRT建立在NVIDIA的并行编程模型CUDA的基础上,使能够利用CUDA-X中的库、开发工具和技术,为人工智能、自动化机器、高性能计算和图形优化所有深度学习框架的推理。              TensorRT为深度学习推理应用程序(如视频流、语音识别、推荐和自然语言处理)的生产部署提供INT8和FP16优化。减少的精确推理显著减少了应用程序延迟,这是许多实时服务、自动和嵌入式应用程序的要求。

可以将每个深度学习框架中经过训练的模型导入TensorRT。在应用优化后,TensorRT选择特定于平台的内核,以在数据中心的Tesla gpu、Jetson嵌入式平台和NVIDIA驱动自主驾驶平台上实现性能最大化。

使用TensorRT,开发人员可以专注于创建新的人工智能应用程序,而不是为推理部署进行性能调整。

二.tensorRT开源代码

链接地址:https://github.com/NVIDIA/TensorRT

TensorRT Open Source Software

此存储库包含NVIDIA TensorRT的开源软件(OSS)组件。包括TensorRT插件和解析器(Caffe和ONNX)的源代码,以及演示TensorRT平台的使用和功能的示例应用程序。

Prerequisites

要构建TensorRT OSS组件,请确保满足以下包要求:

System Packages

  • CUDA
  • GNU Make >= v4.1
  • CMake >= v3.13
  • Python
  • PIP >= v19.0
  • Essential libraries and utilities
  • Jetson平台的交叉编译需要安装JetPack的主机组件

Optional Packages

  • Containerized builds
  • Code formatting tools

TensorRT Release

注意:除了TensorRT OSS组件外,还将下载以下源包,不需要在系统上安装。

ONNX-TensorRT v7.0

 三.Availability

TensorRT可从TensorRT产品页免费向NVIDIA开发人员程序的成员提供,以进行开发和部署。最新版本的插件、解析器和示例也可以从TensorRT github存储库中以开源方式获得。开发人员还可以从NGC容器注册中心在TensorRT容器中获取TensorRT。TensorRT包括在:

NVIDIA Deepstream SDK,用于计算机视觉和智能视频分析(IVA)应用程序中的实时流分析。

NVIDIA DRIVE用于NVIDIA DRIVE PX2自主驾驶平台的安装。

NVIDIA Jetpack for Jetson TX1、TX2嵌入式平台。

NVIDIA TensorRT:可编程推理加速器的更多相关文章

  1. NVIDIA TensorRT高性能深度学习推理

    NVIDIA TensorRT高性能深度学习推理 NVIDIA TensorRT 是用于高性能深度学习推理的 SDK.此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高 ...

  2. NVIDIA TensorRT 让您的人工智能更快!

    NVIDIA TensorRT 让您的人工智能更快! 英伟达TensorRT™是一种高性能深度学习推理优化器和运行时提供低延迟和高通量的深度学习推理的应用程序.使用TensorRT,您可以优化神经网络 ...

  3. 基于TensorRT车辆实时推理优化

    基于TensorRT车辆实时推理优化 Optimizing NVIDIA TensorRT Conversion for Real-time Inference on Autonomous Vehic ...

  4. Nvidia TensorRT开源软件

    TensorRT开源软件 此存储库包含NVIDIA TensorRT的开源软件(OSS)组件.其中包括TensorRT插件和解析器(Caffe和ONNX)的源代码,以及演示TensorRT平台使用和功 ...

  5. NVIDIA® TensorRT™ supports different data formats

    NVIDIA TensorRT supports different data formats NVIDIATensorRT公司 支持不同的数据格式.需要考虑两个方面:数据类型和布局.         ...

  6. TensorRT简介-转载

    前言 NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用有 图像分类.分割和目标检测等,可提供最大的推理吞吐量和效率.Tens ...

  7. 初见-TensorRT简介<转>

    下面是TensorRT的介绍,也可以参考官方文档,更权威一些:https://developer.nvidia.com/tensorrt 关于TensorRT首先要清楚以下几点: 1. TensorR ...

  8. TensorRT加速 ——NVIDIA终端AI芯片加速用,可以直接利用caffe或TensorFlow生成的模型来predict(inference)

    官网:https://developer.nvidia.com/tensorrt 作用:NVIDIA TensorRT™ is a high-performance deep learning inf ...

  9. 基于TensorRT 3的自动驾驶快速INT8推理

    基于TensorRT 3的自动驾驶快速INT8推理 Fast INT8 Inference for Autonomous Vehicles with TensorRT 3 自主驾驶需要安全性,需要一种 ...

随机推荐

  1. hdu4277 DFS+SET

    题意:       给你一些木棍,问你可以组成多少个三角形.. 思路:      直接深搜,N很小深搜无压力,也可以直接算出来,但我不会算..  #include<stdio.h> #in ...

  2. PAT 乙级 -- 1002 -- 写出这个数

    题目: 读入一个自然数n,计算其各位数字之和,用汉语拼音写出和的每一位数字. 输入格式:每个测试输入包含1个测试用例,即给出自然数n的值.这里保证n小于10100. 输出格式:在一行内输出n的各位数字 ...

  3. POJ3498最大流,枚举终点,企鹅,基础最大流

    题意:       有一n个冰块,每个冰块上都有一些企鹅,所有的企鹅要跳到一个冰块上去,但是由于起跳是的后坐力原因导致每个冰块最多条mi次,最后问你所有的企鹅都跳到一个冰块上去的那块冰块可以是哪一块, ...

  4. Hexo 博客Next 搭建与美化主题

    ========================================================================================将页面部署到GitHub ...

  5. Windbg 字符串条件断点

    0x01 前言 Windbg 作为 Windows 下的主流调试器,除了人机交互相比其他调试器略有不足外,其他功能都是十分强大的存在. 在所有的调试器中断点功能都是必不可少的,Windbg 可以使用 ...

  6. Python视频压缩

    html, body { font-family: "SF UI Display", ".PingFang SC", "PingFang SC&quo ...

  7. 【JavaScript】Leetcode每日一题-青蛙过河

    [JavaScript]Leetcode每日一题-青蛙过河 [题目描述] 一只青蛙想要过河. 假定河流被等分为若干个单元格,并且在每一个单元格内都有可能放有一块石子(也有可能没有). 青蛙可以跳上石子 ...

  8. X264码率控制总结1——ABR,CQP,CRF

    1.  X264显式支持的一趟码率控制方法有:ABR, CQP, CRF. 缺省方法是CRF.这三种方式的优先级是ABR > CQP > CRF. if ( bitrate ) rc_me ...

  9. copy函数与ostream_iterator、reverse_iterator

    #include <iostream> #include <iterator> #include <vector> int main() { using names ...

  10. ART-TEMPLATE的核心语法

    模板引擎语法 核心方法 // 基于模板名渲染模板 template(filename, data); // 将模板源代码编译成函数 template.compile(source, options); ...