tensorflow-- Dataset创建数据集对象

tf.data模块包含：

• experimental 模块
• Dataset 类
•  FixedLengthRecordDataset 类
• TFRecordDataset 类
• TextLineDataset 类

 #  author by FH.
 #  OverView:
 #  tf.data
 #           experimental  ---Modules
 #           Dataset      ---class
 #           FixedLengthRecordDataset  ---class
 #           TFRecordDataset           ---class
 #           TextLineDataset           ---class
 import tensorflow as tf
 import numpy as np

 # 1. 使用静态方法 tf.data.Dataset.from_tensor_slices
 #       将输入的第一个维度切割，形成dataset
 # 2. 使用 Dataset的 make_one_shot_iterator() 实例化一个 iterator
 #       这个iterator 只能从头到尾读取一次。“one shot iterator”
 def test1():
     sess = tf.Session()
     dataset1 = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))
     dataset2 = tf.data.Dataset.from_tensor_slices(np.array([[1,2],[3,4],[0,9]]))
     dataset3 = tf.data.Dataset.from_tensor_slices(
         {
             "a":np.array([1.0,2,3,4,5.0]),
             "b":np.random.uniform(size=(5,2))
         }
     )
     # 使用 Dataset的 make_one_shot_iterator() 实例化一个 iterator
     #     这个iterator 只能从头到尾读取一次。“one shot iterator”
     oneShotIterator1 = dataset1.make_one_shot_iterator()
     oneShotIterator2 = dataset2.make_one_shot_iterator()
     oneShotIterator3 = dataset3.make_one_shot_iterator()
     element1 = oneShotIterator1.get_next()
     element2 = oneShotIterator2.get_next()
     element3 = oneShotIterator3.get_next()
     for i in range(5):
         print(sess.run(element1))
     for i in range(3):
         print(sess.run(element2))
     for i in range(5):
         print(sess.run(element3))
     sess.close()

 # 1.Dataset 中的数据元素转换。
 #           map() :参数为一个函数，将dataset中的每个元素带入获取新的值
 #           batch(): 参数为一个整数，将多个元素组合成一个batch
 def test2():
     sess = tf.Session()
     dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0,6]))
     # map() 重新映射新的元素值
     dataset1 = dataset.map(lambda x: x * 3)
     # batch()  2个组成一个batch, 组成batch 之后size 为3
     dataset2 = dataset.batch(2)
     # shuffle() 打乱dataset
     dataset3 = dataset.shuffle(buffer_size=3)
     # repeat()  将整个序列重复多次，重复4次 size 为24
     dataset4 = dataset.repeat(4)

     oneShotIterator1 = dataset1.make_one_shot_iterator()
     oneShotIterator2 = dataset2.make_one_shot_iterator()
     oneShotIterator3 = dataset3.make_one_shot_iterator()
     oneShotIterator4 = dataset4.make_one_shot_iterator()
     element1 = oneShotIterator1.get_next()
     element2 = oneShotIterator2.get_next()
     element3 = oneShotIterator3.get_next()
     element4 = oneShotIterator4.get_next()
     for i in range(6):  # map()
         print(sess.run(element1))
     for i in range(3):  # batch()
         print(sess.run(element2))
     for i in range(6):  # shuffle()
         print(sess.run(element3))
     for i in range(24): # repeat()
         print(sess.run(element4))
     sess.close()

 # example1: 读取图片和相应的标签并打乱，组成
 #          batch_size=2 的数据集，重复10 epoch
 def _parse_function(imgfilename,label):
     image_value = tf.read_file(imgfilename)
     img = tf.image.decode_image(image_value)
     img = tf.image.resize_images(img,[256,256])
     return img,label
 def example1():
     # 图片列表
     filesnames = tf.constant(['name1.jpg','name3.jpg','name5.jpg','name6.jpg','name7.jpg','name8.jpg'])
     # 对应标签
     labels = tf.constant([0,1,0,1,1,0])
     # dataset  (名称，标签)
     dataset = tf.data.Dataset.from_tensor_slices((filesnames,labels))
     # map 映射成图片和标签
     dataset = dataset.map(_parse_function)
     # shuffle ,batch , repeat
     dataset = dataset.shuffle(buffersize=3).batch(2).repeat(10)
     return dataset

 if __name__ == '__main__':
     test2()