####
'''
tf.train.slice_input_producer :定义样本放入文件名队列的方式[迭代次数,是否乱序],但此时文件名队列还没有真正写入数据
slice_input_producer(tensor_list, num_epochs=None, shuffle=True, seed=None,capacity=32, shared_name=None, name=None)
tensor_list:如[images,labels] = [['img1','image2','imag3','img4','img5','img6'],[1,2,3,4,5,6]]
num_epochs:可选参数,迭代次数 num_epochs=None 无限次遍历tensor列表 num_epochs=N 生成器只能遍历列表N次
shuffle:shuffle=True 乱序样本 shuffle=False需要在批处理时使用tf.train.shuffle_batch函数打乱样本
seed:随机数种子 在shuffle=True 时使用
capacity:设置tensor列表的容量
shared_name:可选参数,如果设置一个‘shared_name’,则在不同的上下文环境(Session)中可以通过这个名字共享生成的tensor
name:设置操作名称 '''
import tensorflow as tf ###思路:准备入文件名队列 创建线程 入队线程
images = ['img1','image2','imag3','img4','img5','img6']
labels = [1,2,3,4,5,6] epoch_num = 8
queue = tf.train.slice_input_producer([images,labels],num_epochs=None,shuffle=False) #从文件里抽取tensor,准备放入文件名队列
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
coord = tf.train.Coordinator() ###创建一个线程协调器,用来管理之后再Session中启动的所有线程
###启动入队线程,由多个或单个线程,按照设定规则把文件读入到文件名队列中,返回线程ID的列表。一般情况下,系统有多少核,就会启动多少个入队线程
###入队具体使用多少个线程在tf.train.batch中设定
threads = tf.train.start_queue_runners(sess,coord=coord)
for i in range(epoch_num):
k = sess.run(queue)
print("*************")
print(i,k,k[0],k[1]) '''
*************
0 [b'img1', 1] b'img1' 1
*************
1 [b'image2', 2] b'image2' 2
*************
2 [b'imag3', 3] b'imag3' 3
*************
3 [b'img4', 4] b'img4' 4
*************
4 [b'img5', 5] b'img5' 5
*************
5 [b'img6', 6] b'img6' 6
*************
6 [b'img1', 1] b'img1' 1
*************
7 [b'image2', 2] b'image2' 2
'''

准备 -- 创建线程 -- 入队线程

import tensorflow as tf

###思路:准备入文件名队列    创建线程    入队线程  异常处理
images = ['img1','image2','imag3','img4','img5','img6']
labels = [1,2,3,4,5,6] epoch_num = 8
queue = tf.train.slice_input_producer([images,labels],num_epochs=None,shuffle=False) #从文件里抽取tensor,准备放入文件名队列
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
coord = tf.train.Coordinator() ###创建一个线程协调器,用来管理之后再Session中启动的所有线程
###启动入队线程,由多个或单个线程,按照设定规则把文件读入到文件名队列中,返回线程ID的列表。一般情况下,系统有多少核,就会启动多少个入队线程
###入队具体使用多少个线程在tf.train.batch中设定
threads = tf.train.start_queue_runners(sess,coord=coord)
try:
for i in range(epoch_num):
if coord.should_stop(): ###查询是否应该终止所有线程,当文件队列(queue)中的所有文件都已经读取出列的时候,
# 会抛出一个 OutofRangeError 的异常,这时候就应该停止Sesson中的所有线程了;
break
k = sess.run(queue)
print("*************")
print(i,k,k[0],k[1])
except tf.errors.OutOfRangeError: ###如果读取文件到文件队列末尾会抛出此异常
print('完成!!现在终止所有线程')
finally:
##协调器coord发出所有线程终止信号,使用coord.join(threads)把线程加入主线程,等待threads结束
coord.request_stop()
print('所有线程请求终止')
coord.join(threads) ###把开启的线程加入主线程,等待threads结束
print('所有线程终止')

tfsenflow队列|tf.train.slice_input_producer|tf.train.Coordinator|tf.train.start_queue_runners的更多相关文章

  1. tensorflow|tf.train.slice_input_producer|tf.train.Coordinator|tf.train.start_queue_runners

    #### ''' tf.train.slice_input_producer :定义样本放入文件名队列的方式[迭代次数,是否乱序],但此时文件名队列还没有真正写入数据 slice_input_prod ...

  2. 深度学习原理与框架-Tfrecord数据集的读取与训练(代码) 1.tf.train.batch(获取batch图片) 2.tf.image.resize_image_with_crop_or_pad(图片压缩) 3.tf.train.per_image_stand..(图片标准化) 4.tf.train.string_input_producer(字符串入队列) 5.tf.TFRecord(读

    1.tf.train.batch(image, batch_size=batch_size, num_threads=1) # 获取一个batch的数据 参数说明:image表示输入图片,batch_ ...

  3. tensorflow中 tf.train.slice_input_producer 和 tf.train.batch 函数(转)

    tensorflow数据读取机制 tensorflow中为了充分利用GPU,减少GPU等待数据的空闲时间,使用了两个线程分别执行数据读入和数据计算. 具体来说就是使用一个线程源源不断的将硬盘中的图片数 ...

  4. tensorflow中 tf.train.slice_input_producer 和 tf.train.batch 函数

    tensorflow数据读取机制 tensorflow中为了充分利用GPU,减少GPU等待数据的空闲时间,使用了两个线程分别执行数据读入和数据计算. 具体来说就是使用一个线程源源不断的将硬盘中的图片数 ...

  5. 【转载】 tensorflow中 tf.train.slice_input_producer 和 tf.train.batch 函数

    原文地址: https://blog.csdn.net/dcrmg/article/details/79776876 ----------------------------------------- ...

  6. tensorflow数据读取机制tf.train.slice_input_producer 和 tf.train.batch 函数

    tensorflow中为了充分利用GPU,减少GPU等待数据的空闲时间,使用了两个线程分别执行数据读入和数据计算. 具体来说就是使用一个线程源源不断的将硬盘中的图片数据读入到一个内存队列中,另一个线程 ...

  7. 【转载】 tf.train.slice_input_producer()和tf.train.batch()

    原文地址: https://www.jianshu.com/p/8ba9cfc738c2 ------------------------------------------------------- ...

  8. tf.train.slice_input_producer()

    tf.train.slice_input_producer处理的是来源tensor的数据 转载自:https://blog.csdn.net/dcrmg/article/details/7977687 ...

  9. 深度学习原理与框架-图像补全(原理与代码) 1.tf.nn.moments(求平均值和标准差) 2.tf.control_dependencies(先执行内部操作) 3.tf.cond(判别执行前或后函数) 4.tf.nn.atrous_conv2d 5.tf.nn.conv2d_transpose(反卷积) 7.tf.train.get_checkpoint_state(判断sess是否存在

    1. tf.nn.moments(x, axes=[0, 1, 2])  # 对前三个维度求平均值和标准差,结果为最后一个维度,即对每个feature_map求平均值和标准差 参数说明:x为输入的fe ...

随机推荐

  1. 1571. [Usaco2009 Open]滑雪课Ski

    传送门 可以想到 $dp$,设 $f[i][j]$ 表示当前等级为 $i$,时间为 $j$ 的最大滑雪次数 显然上课不会上让自己等级降低的课,所以第一维 $i$ 满足无后效性 然后直接枚举 $i,j$ ...

  2. Vue2.0源码阅读笔记(四):nextTick

      在阅读 nextTick 的源码之前,要先弄明白 JS 执行环境运行机制,介绍 JS 执行环境的事件循环机制的文章很多,大部分都阐述的比较笼统,甚至有些文章说的是错误的,以下为个人理解,如有错误, ...

  3. grep命令用关系或查询多个字符串

    bcmsh ps | grep -E 'port|ge2 ' bcmsh ps | grep 'port\|ge2 ' 我的目的是筛选出含有 ‘port’ 或者含有 ‘ge2 ’ 的行,上面的第一行参 ...

  4. shell使用标准输出返回函数值

  5. 基于TMS320C6455、XC5VSX95T 的6U CPCI无线通信处理平台

    基于TMS320C6455.XC5VSX95T 的6U CPCI无线通信处理平台   1. 板卡概述 本板卡由我公司自主研发,基于CPCI架构,符合PICMG2.0 D3.0标准,包含双TI TMS3 ...

  6. day02 循环、格式化输出、运算符、编码

    01 昨日内容回顾 python2x python3x区别: python2x:源码重复,不规范. python3x:源码规范,优美,清晰,简单. 编译型:将代码一次性全部转化成字节码. 代表语言:C ...

  7. ViewMode

    一.ViewMode 实现使用场景-Model枚举的情景下, 注意:枚举声明在后台的时候,需要渲染界面,页面表格使用 Bootstrap Table插件-事先通过ajax 渲染(数据库读取值1.2.3 ...

  8. Shell04--循环语句

    目录 Shell04---循环语句 1. 循环语句for基本概述 2. 循环语句for场景示例 3. 循环语句while基本概述 4. 循环语句while场景示例 5. 内置跳出循环语句指令 Shel ...

  9. 一、Spring Boot系列:通过Maven创建第一个项目

    1.打开idea选择创建工程 2.创建maven工程,同时选择jdk1.8 注意:不需要勾选其他选项 3.填写项目名称 4.创建好maven项目后,在pom.xml文件中导入Spring Boot需要 ...

  10. Java实现sock5代理服务器

    入职练手socks5代理服务器,过程总结一下. 1.下载火狐浏览器,设定代理为socks5代理,地址为127.0.0.1:1080. 2.socks5协议1928,中文版,原版,认真阅读 3.按照协议 ...