tensorflow入门笔记（五） name_scope和variable_scope

一、上下文管理器（context manager）

上下文管理器是实现了上下文协议的对象,主要用于资源的获取与释放。上下文协议包括__enter__、__exit__，简单说就是，具备__enter__()和__exit__()方法的类就可以实现上下文管理，做到文件的自动关闭，这样的类实例化的对象就是上下文管理器。

典型的例子就是读写文件的操作。使用open()函数打开文件，操作之后再用close()函数关闭文件。如果使用上下文管理器的的话就会简洁方便些，因为File()类内部包含有__enter__、__exit__这两种方法。同时，python提供的with也能简化资源操作后的清除操作，实现原理建立在上下文管理器之上。

with open('test.txt','w') as file:
     file.write(data)

二、name_scope

定义python op使用的上下文管理器

该上下文管理器验证给定的values是否来自相同的Graph、将该Graph设为默认Graph、将命名空间（name scope）存入图中。

下面的代码定义了一个叫做my_op的python op:

def my_op(a, b, c, name=None):
  with tf.name_scope(name, "MyOp", [a, b, c]) as scope:
    a = tf.convert_to_tensor(a, name="a")
    b = tf.convert_to_tensor(b, name="b")
    c = tf.convert_to_tensor(c, name="c")
    # Define some computation that uses `a`, `b`, and `c`.
    return foo_op(..., name=scope)

tf.name_scope()主要是用来管理命名空间的，这样能使模型更加有条理。

三、variable_scope

定义创建变量这一操作的上下文管理器

变量空间允许您创建新的变量并共享已经创建的变量，同时提供检查以避免意外地创建或共享

如何创建新变量的示例：

with tf.variable_scope("foo"):
    with tf.variable_scope("bar"):
        v = tf.get_variable("v", [1])
        assert v.name == "foo/bar/v:0"

使用AUTO_REUSE共享变量：

with tf.variable_scope("foo"):
    with tf.variable_scope("bar"):
        v = tf.get_variable("v", [1])
        assert v.name == "foo/bar/v:0"

使用reuse=True共享变量：

with tf.variable_scope("foo"):
    v = tf.get_variable("v", [1])
with tf.variable_scope("foo", reuse=True):
    v1 = tf.get_variable("v", [1])
assert v1 == v

通过捕获空间和设置重用共享变量：

with tf.variable_scope("foo") as scope:
    v = tf.get_variable("v", [1])
    scope.reuse_variables()
    v1 = tf.get_variable("v", [1])
assert v1 == v

在non-resue scope中共享变量会报错：

with tf.variable_scope("foo"):
    v = tf.get_variable("v", [1])
    v1 = tf.get_variable("v", [1])
    #  Raises ValueError("... v already exists ...").

注意的是：reuse标志是会被继承的。即如果一个scope被设置为reuse mode,那么它的sub-scopes也会处于reuse mode。、

variable_scope大部分情况下和tf.get_variable()配合使用，实现变量共享。

import os

import tensorflow as tf

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

    with tf.Session() as sess:
        with tf.name_scope('name_scope'):  # 命名空间
            var1 = tf.Variable(initial_value=[1], name='var1')  # 创建变量
            with tf.variable_scope('variable_scope'):  # 变量空间
               var2 = tf.Variable([2], name='var2')  # 创建变量
               var3 = tf.get_variable(name='var3', shape=[])  # 创建可共享变量
       print('var1.name', var1.name)
       print('var2.name', var2.name)
       print('var3.name', var3.name)

运行结果：

var1.name name_scope/var1:0
    var2.name name_scope/variable_scope/var2:0
    var3.name variable_scope/var3:0

可以发现tf.name_scope()不会对tf.get_variable创建的变量有任何影响

tf.name_scope()主要是管理命名空间，让模型井然有序，而tf.variable_scope()的作用是配合tf.get_variable()实现变量共享

四、tf.Variable()和tf.get_variable()

• class Variable

变量在Graph中起到通过调用run()维持状态的作用。可以通过实例化类Variable向Graph添加变量。

import tensorflow as tf

# 创建一个变量
w = tf.Variable(<initial-value>, name=<optional-name>)

# Use the variable in the graph like any Tensor.
y = tf.matmul(w, ...another variable or tensor...)

# The overloaded operators are available too.
z = tf.sigmoid(w + y)

# Assign a new value to the variable with `assign()` or a related method.
w.assign(w + 1.0)
w.assign_add(1.0)

• tf.get_variable()

获取符合这些参数的现有变量或创建新参数.

该函数给当前变量空间的name加前缀并检查是否有重用。

def foo():
  with tf.variable_scope("foo", reuse=tf.AUTO_REUSE):
    v = tf.get_variable("v", [1])
  return v

v1 = foo()  # Creates v.  创建一个新变量
v2 = foo()  # Gets the same, existing v. 得到一个符合参数的现有变量
assert v1 == v2

创建变量有三种方式，但只有tf.get_variable()创建的变量会发生命名冲突。在实际使用中，三种创建变量方式的用途区别也是明显的：

• tf.placeholder()      #占位符。trainable=False，不是训练参数
• tf.Variable()           #一般变量的定义使用该种方式。trainablel类型可选
• tf.get_variable()     #和tf.variable_scope()配合使用，实现变量共享的功能。trainablel类型可选

五、参考链接

• https://blog.csdn.net/weixin_31449201/article/details/80317933
• https://blog.csdn.net/u012436149/article/details/73555017
• https://blog.csdn.net/Jerr__y/article/details/70809528