高效Tensor张量生成

高效Tensor张量生成

Efficient Tensor Creation

从C++中的Excel数据中创建Tensor张量的方法有很多种，在简单性和性能之间都有不同的折衷。本文讨论了一些方法及其权衡。

提示

继续阅读之前请务必阅读C++指南

将数据直接写入Tensor张量

如果能做到这一点就更好了。

不要复制数据或包装现有数据，而是直接将数据写入Tensor张量。

正向

对于进程内和进程外的执行，这将在没有副本的情况下工作

没有内存对齐要求

不需要使用删除程序

反向

可能需要对现有的应用程序进行大量的重构，才能使其正常工作

实例

可以将数据直接接收到Tensor张量的底层缓冲区中：

// Allocate a tensor

auto tensor = allocator->allocate_tensor<float>({6, 6});

// Get a pointer to the underlying buffer

auto data = tensor->get_raw_data_ptr();

// Some function that writes data directly into this buffer

recv_message_into_buffer(data);

或者可以手动填写Tensor张量：

// Allocate a tensor

auto tensor = allocator->allocate_tensor<float>({256, 256});

const auto &dims = tensor->get_dims();

// Get an accessor

auto accessor = tensor->accessor<2>();

// Write data directly into it

for (int i = 0; i < dims[0]; i++)

{

for (int j = 0; j < dims[1]; j++)

{

accessor[i][j] = i * j;

}

}

甚至可以将其与TBB并行：

// Allocate a tensor

auto tensor = allocator->allocate_tensor<float>({256, 256});

const auto &dims = tensor->get_dims();

// Get an accessor

auto accessor = tensor->accessor<2>();

// Write data into the tensor in parallel

tbb::parallel_for(

// Parallelize in blocks of 16 by 16

tbb:blocked_range2d<size_t>(0, dims[0], 16, 0, dims[1], 16),

// Run this lambda in parallel for each block in the range above

[&](const blocked_range2d<size_t>& r) {

for(size_t i = r.rows().begin(); i != r.rows().end(); i++)

{

for(size_t j = r.cols().begin(); j != r.cols().end(); j++)

{

accessor[i][j] = i * j;

}

}

}

);

包装现有内存

如果已经在某个缓冲区中保存了数据，那么这个方法很好。

正向

在进程内执行期间，这将在没有副本的情况下工作

如果已经有数据很容易做到

反向

需要了解什么是删除者以及如何正确使用

为了有效地使用TF，数据需要64字节对齐

注意：这不是一个硬性要求，但是TF可以在引擎盖下复制未对齐的数据

与#1相比，这会在进程外执行期间生成一个额外的副本

实例

从cv：：Mat包装数据：

cv::Mat image = ... // An image from somewhere

auto tensor = allocator->tensor_from_memory<uint8_t>(

// Dimensions

{1, image.rows, image.cols, image.channels()},

// Data

image.data,

// Deleter

[image](void * unused) {

// By capturing `image` in this deleter, we ensure

// that the underlying data does not get deallocated

// before we're done with the tensor.

}

);

将数据复制到Tensor张量中             

正向             

很容易做到             

无内存对齐要求             

不需要使用删除程序             

反向             

在进程内执行期间总是生成一个额外的副本             

与#1相比，这会在进程外执行期间生成一个额外的副本（尽管此副本是由用户显式编写的）             

实例             

从cv：：Mat复制：

cv::Mat image = ... // An image from somewhere

auto tensor = allocator->allocate_tensor<uint8_t>(

// Dimensions

{1, image.rows, image.cols, image.channels()}

);

// Copy data into the tensor

tensor->copy_from(image.data, tensor->get_num_elements());

该用哪一个？             

一般来说，按业绩衡量的方法顺序如下：             

直接将数据写入Tensor张量             

包装现有内存             

将数据复制到Tensor张量中             

也就是说，分析是朋友。             

简单性和性能之间的折衷对于大Tensor张量和小Tensor张量也是不同的，因为副本对于小Tensor张量更便宜。