tensorflow中使用变量作用域及tf.variable(),tf,getvariable()与tf.variable_scope()的用法
一 .tf.variable() 在模型中每次调用都会重建变量,使其存储相同变量而消耗内存,如:
def repeat_value():
weight=tf.variable(tf.random_normal([5,5,6]),name='weight')
return weight
如果多次调用函数如:
result1=repeat_value()
result2=repeat_value() # 重复调用
将会重复创建一份变量,却保存相同模型参数。若使用字典可以解决此类问题,却破坏模型封装性(有关字典解决此问题,可留言回复)。
二 . tf.get_variable()与tf.variable_scope()方法可以解决上面问题,其中前者负责创建或获取指定名称的变量,后者负责传入tf.get_variable()方法的变量名称的名字空间。
def a(input,kernel_shape):
w=tf.get_variable('w',kernel_shape,initializer=tf.random_normal()) #创建获取名叫w的变量
conv=tf.nn.conv2d(input,w,strides=[1,1,1,1],padding='SAME')
return conv def b(img):
with tf.variable_scope("conv1"): #创建conv1/w变量
r1=a(img,[5,5,32,32])
with tf.variable_scope("conv2"): #创建conv2/w变量
r2=a(r1,[5,5,32,32])
return r2
# with上下文中定义的变量都会加上tf.variable_scope方法中定义的前缀,这样能够通过不同的变量作用域区分同类网络的不同参数。
# 但第二次调用函数b(),tf.get_variable()就会抛出变量已存在,无法解决复用问题。因此,需要加上reuse=True,如下: def b(img):
with tf.variable_scope("conv1",reuse=True): #创建conv1/w变量
r1=a(img,[5,5,32,32])
with tf.variable_scope("conv2",reuse=True): #创建conv2/w变量
r2=a(r1,[5,5,32,32])
return r2
# 更改后可以反复调用了。 三.共享作用域下的初始化(类似c++类中的继承):
with tf.variable_scope("conv1",initializer=tf.constant_initializer(0.8)): #创建conv1/w变量
w=tf.get_variable('w',[1]) #此处使用外围的initializer=tf.constant_initializer(0.8)初始化
w1 = tf.get_variable('w1', [1,2], initializer=tf.random_normal()) # 此处覆盖initializer=tf.constant_initializer(0.8)初始化,
# 使用本身initializer=tf.random_normal()初始化。 with tf.variable_scope("conv2"): #嵌套conv1下的作用域
w2 = tf.get_variable('w2', [1,2]) #此处使用外围的initializer=tf.constant_initializer(0.8)初始化(类似继承)
w1 = tf.get_variable('w1', [1,2], tf.constant_initializer(0.4)) # 此处覆盖initializer=tf.constant_initializer(0.8)初始化,
# 使用本身tf.constant_initializer(0.4)初始化。
tensorflow中使用变量作用域及tf.variable(),tf,getvariable()与tf.variable_scope()的用法的更多相关文章
- TensorFlow中的变量和常量
1.TensorFlow中的变量和常量介绍 TensorFlow中的变量: import tensorflow as tf state = tf.Variable(0,name='counter') ...
- 深度学习原理与框架-Tensorflow基本操作-Tensorflow中的变量
1.tf.Variable([[1, 2]]) # 创建一个变量 参数说明:[[1, 2]] 表示输入的数据,为一行二列的数据 2.tf.global_variables_initializer() ...
- Tensorflow中的变量
从初识tf开始,变量这个名词就一直都很重要,因为深度模型往往所要获得的就是通过参数和函数对某一或某些具体事物的抽象表达.而那些未知的数据需要通过学习而获得,在学习的过程中它们不断变化着,最终收敛达到较 ...
- 2、Tensorflow中的变量
2.Tensorflow中的变量注意:tf中使用 变量必须先初始化下面是一个使用变量的TF代码(含注释): # __author__ = "WSX" import tensorfl ...
- 83、Tensorflow中的变量管理
''' Created on Apr 21, 2017 @author: P0079482 ''' #如何通过tf.variable_scope函数来控制tf.ger_variable函数获取已经创建 ...
- TensorFlow中的变量命名以及命名空间.
What: 在Tensorflow中, 为了区别不同的变量(例如TensorBoard显示中), 会需要命名空间对不同的变量进行命名. 其中常用的两个函数为: tf.variable_scope, t ...
- javascript中的变量作用域以及变量提升
在javascript中, 理解变量的作用域以及变量提升是非常有必要的.这个看起来是否很简单,但其实并不是你想的那样,还要一些重要的细节你需要理解. 变量作用域 “一个变量的作用域表示这个变量存在的上 ...
- php学习笔记4--php中的变量作用域
变量作用域:可以简单地理解为变量的可见区域,变量能被访问的范围.如同其他语言,php中也有全局作用域和局部作用域之分,但是不同的是:php中的全局作用域指的是:只能在函数外部使用,而局部作用域指的是: ...
- javascript中的变量作用域以及变量提升详细介绍
在javascript中, 理解变量的作用域以及变量提升是非常有必要的.这个看起来是否很简单,但其实并不是你想的那样,还要一些重要的细节你需要理解变量作用域 “一个变量的作用域表示这个变量存在的上下文 ...
随机推荐
- 关于pytest的命令行传参
#conftest.py import pytest def pytest_addoption(parser): #parser:用户命令行参数与ini文件值的解析器 # group = parser ...
- AJAX异步更改数据库
前段时间做了一个小网站,里面有个小功能感觉挺好的,在此与大家分享一下,还请各位大神不要笑话小弟的无知. 此功能大概是这个样子的:点击下图中的类别名称,就可以对类别进行修改. 点击类别名称以后,原来的表 ...
- 【Linux】查看程序是否正常运行
ps aux|grep redis-server ps -ef |grep redis netstat -tunple|grep 6379 netstat -lntp | grep 6379
- WebStorm取消默认style样式折叠
WebStorm取消默认style样式折叠: File--->Settings打开一个窗口 Edit--->CodeFolding 把HTML style attribute的前面的钩去掉 ...
- vue 工具函数的封装 时间格式化函数
时间代码格式化工具函数的封装 小伙伴们,多封点工具函数,多封装点公共组件,多写点公共样式,照顾下互联网行业的新人把....~~~~~ /** yyyymmdd(new Date) -> &quo ...
- python3中“->”的含义
->:标记返回函数注释,信息作为.__annotations__属性提供 __annotations__属性是字典.键return是用于在箭头后检索值的键.但是在Python中3.5,PEP 4 ...
- java calendar获取系统当前小时数
calendar获取系统当前小时数 24小时制 Calendar calendar = Calendar.getInstance(); int curHour24 = calendar.get(c ...
- 每日一问:谈谈对 MeasureSpec 的理解
作为一名 Android 开发,正常情况下对 View 的绘制机制基本还是耳熟能详的,尤其对于经常需要自定义 View 实现一些特殊效果的同学. 网上也出现了大量的 Blog 讲 View 的 onM ...
- elasticsearch 官方监控文档 老版但很有用
https://zhaoyanblog.com/page/1?s=elasticsearch 监控每个节点(jvm部分) 操作系统和进程部分 操作系统和进程部分的含义是很清楚的,这里不会描述的很详细. ...
- pytorch seq2seq模型示例
以下代码可以让你更加熟悉seq2seq模型机制 """ test """ import numpy as np import torch i ...