TensorRT 数据格式说明

TensorRT数据格式说明

NVIDIA  TensorRT支持不同的数据格式。需要考虑两个方面：数据类型和布局。

数据类型格式

数据类型是每个单独值的表示。它的大小决定了数值的范围和表示的精度；分别是FP32（32位浮点或单精度），FP16（16位浮点或半精度），INT32（32位整数表示）和INT8（8位表示）。

布局格式

布局格式决定了存储值的顺序。通常，批次维度是最左侧的维度，其它维度指的是每个数据项的各个方面，例如C 是频道 H 是高度，并且 w ^是宽度（以图片为单位）。总是忽略在这些之前的批量大小，C， H和 w ^ 通常依据以下示意图中。

定义了更多格式，以将通道值打包在一起并降低精度。因此，TensorRT也支持格式 NC/2HW2 和 NHWC8。

在 NC/2HW2，每对通道值打包在一起 高宽矩阵（在奇数通道的情况下为空值）。结果是一种格式，其中的值 ⌈C/2⌉高宽矩阵是两个连续通道的值对。

This ordering interleaves dimensions as values of channels that have stride1if they are in the same pair and stride2xHxWotherwise.

在 NHWC8， HxW矩阵包含所有通道的值。此外，这些值打包在一起⌈C/8⌉ 8元组里， C 四舍五入到最接近的8的倍数。