使用TensorRT集成推理inference

使用TensorRT集成推理inference

使用TensorRT集成进行推理测试。

使用ResNet50模型对每个GPU进行推理，并对其它模型进行性能比较，最后与其它服务器进行比较测试。

1. ResNet-50 Inference performance: Throughput vs Batch size

在每个GPU上使用不同的批处理大小（从1到32）运行带有预训练的ResNet50模型的吞吐量测试。

图1显示了吞吐量（帧/秒）的结果。

结果在gpu和潜伏期（在右纵轴上表示）上是一致的。

Figure 1.  Resnet_50 Inference on each GPU. Server with 6 GPU’s

上面的曲线图显示，使用Batchsize为1-8的批处理可以达到7ms的延迟，并且从y轴来看，当Batchsize为4时，在7ms延迟窗口内我们可以得到670个帧/秒。

在运行测试时，我们发现默认情况下推理inference是在设备0上进行的，这意味着当前的TensorRT 推理引擎不能与GPU-GPU通信一起工作以最大限度地利用服务器中可用的GPU。如果目标是在多个GPU中运行同一个图形来提高吞吐量，Nvidia建议现在使用原生TensorFlow。

另一方面，TensorRT推理服务器（TRTIS）支持多个GPU，但不支持运行分布在多个GPU上的单个推理。TRTIS可以在多个GPU上运行多个模型（和/或同一模型的多个实例）以提高吞吐量。

2．All Models: Images/sec vs batch size vs Neural models

Figure 2. Throughput Inference Performance with Several Neural Models and Batch Sizes

使用不同的神经模型在不同的Batchsize中进行推理测试。

以Batchsize大小1、2、4、8、26和32显示运行推理inference的吞吐量和延迟。ResNet50以最低的延迟产生最高的吞吐量（图像/秒）。

Figure 3. Latency Inference Performance with Several Neural Models and Batch Sizes

3 All Models - R7425-T4-16GB versus Other servers and NVIDIA GPU

Figure 4. Throughput Inference Performance on R7425-T4-16GB Server versus Other Servers

Figure 5. Latency Inference performance on R7425-T4-16GB Server versus other servers

使用几种模型在服务器R740-P4和R7245-P4上进行了推理测试，并将它们的结果与R7425-T4-16GB的结果进行了比较。服务器R7425-T4-16GB的性能比ResNet50型号上的其它服务器快1.8倍，延迟只有一半。