NVIDIA® TensorRT™ supports different data formats

NVIDIA TensorRT supports different data formats

NVIDIATensorRT公司 支持不同的数据格式。需要考虑两个方面：数据类型和布局。              数据类型格式

数据类型是每个单独值的表示。它的大小决定了值的范围和表示的精度；它们是FP32（32位浮点或单精度）、FP16（16位浮点或半精度）、INT32（32位整数表示）和INT8（8位表示）。

布局格式

布局格式决定了存储值的顺序。通常，批处理维度是最左边的维度，其他维度是指图像中每个数据项的方面，例如C是通道，H是高度，W是宽度。忽略批大小（总是在这些值之前），C、H和W通常排序为

CHWindex.html#data-format-desc__fig1 or HWCindex.html#data-format-desc__fig2.

为了实现更快的计算，定义了更多的格式来组合通道值并使用降低的精度。因此，TensorRT还支持NC/2HW2和NHWC8格式。

在NC/2HW2中，通道值对打包在每个HxW矩阵中（在奇数个通道的情况下，有一个空值）。结果是⌈C/2⌉HxW矩阵的值是两个连续通道的值对的格式index.html数据index.html#data-format-desc__fig3；请注意，此顺序将维度作为步长为1的通道的值（如果它们在同一对中），否则步长为2xHxW。

在NHWC8中，HxW矩阵的条目包括所有信道的值index.html#data-format-desc__fig4。将这些值加起来最接近的值是⌈C/8⌉和C的相加。