TensorFlow Data模块

模块作用

tf.data api用于创建训练前导入数据和数据处理的pipeline，使得处理大规模数据，不同数据格式和复杂数据处理变的容易。

基本抽象

提供了两种基本抽象：Dataset和Iterator

Dataset

表示元素序列集合，每个元素包含一个或者多个Tensor对象，每个元素是一个样本。有两种方式可以创建Dataset。

从源数据创建，比如：Dataset.from_tensor_slices()
通过数据处理转换创建，比如 Dataset.map()/batch()

Iterator

用于从Dataset获取数据给训练作为输入，作为输入管道和训练代码的接口。最简单的例子是“one-shot iterator”，和一个dataset绑定并返回它的元素一次。通过调整初始化参数，可以实现一些复杂场景的需求，比如循环迭代训练集的元素。

基本机制

基本使用的流程如下：

1. 创建一个dataset

2. 做一些数据处理（map， batch）

3. 创建一个iterator提供给训练使用

数据结构

每个元素都有相同的数据结构，每个元素包含一个或者多个tensor，可以元组表示或者嵌套表示。每个tensor包含类型tf.DType和维度形状tf.TensorShape。每个tensor可以有名称，通过collections.namedtuple或者字典实现。

Dataset的数据处理接口能够支持任意数据结构。

创建Iterator

有了dataset以后，下一步就是创建一个iterator提供访问数据元素的接口，现在tf.data api支持4中iterator来实现不同程度的复杂场景。

one-shot,
initializable,
reinitializable
feedable.

one-shot

最简单，最常用，就是一次遍历所有元素，目前(2019/08)也是estimator唯一支持的iterator。

initializable

需要显示运行初始化操作，可以通过tf.placeholder参数化dataset。

reinitializalbe

可以从多个dataset多次初始化，当然需要相同数据结构。每次切换数据集，使用前需要初始化，

feedable

可以从多个dataset多次初始化，初始化完毕后，可以通过tf.placeholder随时切换数据集。

获取iterator的值

通过session.run(iterator.get_next())完成，若没有数据了则报异常：tf.errors.OutOfRangeError。

iterator.get_next()返回的是tf.Tensor对象，需要在session中执行才会有值。

保存iterator状态

save and restore the current state of the iterator (and, effectively, the whole input pipeline). 能将整个输入pipeline保存并恢复（原理是什么？）

saveable = tf.contrib.data.make_saveable_from_iterator(iterator)

tf.add_to_collection(tf.GraphKeys.SAVEABLE_OBJECTS, saveable)

saver = tf.train.Saver()

读取输入数据

直接读取numpy的数据得到array，调用Dataset.from_tensor_slices

读取TFRecord data: dataset = tf.data.TFRecordDataset(filenames)

通过文件的方式，可以支持不能够全部导入内存中的场景。tf.data.TFRcordDataset将读取数据流作为整个输入流的一部分。

同时，文件名可以通过tf.placeholder传入。

这里所有的dataset的返回，也都是tensorflow中的operation，需要在session中计算得到值。

解析tf.Example

推荐情形下，输入需要从TFRecord文件格式读取TF Example的protocol buffer messages，每个TF Example包含一个或者多个features，输入管道需要将其转换为tensor。

典型列子

# Transforms a scalar string `example_proto` into a pair of a scalar string and# a scalar integer, representing an image and its label, respectively.

def _parse_function(example_proto):

    features = {"image": tf.FixedLenFeature((), tf.string, default_value=""),              "label": tf.FixedLenFeature((), tf.int64, default_value=0)}

    parsed_features = tf.parse_single_example(example_proto, features)  return parsed_features["image"], parsed_features["label"]

# Creates a dataset that reads all of the examples from two files, and extracts

# the image and label features.

filenames = ["/var/data/file1.tfrecord", "/var/data/file2.tfrecord"]

dataset = tf.data.TFRecordDataset(filenames)

dataset = dataset.map(_parse_function)

对于图像，可以通过tf.image.decode_jpeg等方式提取和resize。

任意的python逻辑处理数据情形

在文本当中，比如有时候需要调用其他python库，比如jieba，这时候输入处理需要通过t'f.py_func()opeation完成。

Batching dataset elements

简单batch

调用Dataset.batch()实现，所有元素包含同样的数据结构。

带Padding的batch

当所有元素包含不同长度的数据结构时，可以通过padding使得单个batch数据长度一致。序列模型情形下。制定padding的shape为可变长度，比如（None,）来完成，会自动padding到单个batch的最大长度。当然，可以重写padding的值或者padding的长度。

训练流程

多批次遍历

tf.data提供了两种遍历数据的方式

想要遍历数据多次，可以使用Dataset.repeat(n)操作完成。遍历n次对应多少次epochs。若不提供参数，则将无限循环。同时，将不会给出一个批次结束的信号。

若想在每个批次结束后做处理，则需要在外围加循环，然后通过重复初始化迭代器完成，捕捉tf.errors.OutOfRangeError异常。

随机shuffle

dataset.shuffle()维持一个缓存区，随机取下一个数据。

高阶API

tf.train.MonitoredTrainingSession 接口简化了分布式Tensorflow的很多方面。MonitoredTrainingSession 用tf.error.OutOfRangeError来获取训练是否结束，所以推荐采用one-shot 迭代器。

用dataset作为estimator的输入函数时，直接将dataset返回，estimator会自动创建迭代器并初始化。