以下仅为自己的整理记录，绝大部分参考来源：莫烦Python，建议去看原博客

一、处理结构

因为TensorFlow是采用数据流图（data　flow　graphs）来计算, 所以首先我们得创建一个数据流流图, 然后再将我们的数据（数据以张量(tensor)的形式存在）放在数据流图中计算. 节点（Nodes）在图中表示数学操作,图中的线（edges）则表示在节点间相互联系的多维数据数组, 即张量（tensor). 训练模型时tensor会不断的从数据流图中的一个节点flow到另一节点, 这就是TensorFlow名字的由来.

Tensor 张量意义

张量（Tensor):

张量有多种. 零阶张量为纯量或标量 (scalar) 也就是一个数值. 比如 [1]
一阶张量为向量 (vector), 比如一维的 [1, 2, 3]
二阶张量为矩阵 (matrix), 比如二维的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]]
以此类推, 还有三阶三维的 …

二、使用Tensorflow创建一个线性回归的模型

创建数据

加载 tensorflow 和 numpy 两个模块, 并且使用 numpy 来创建我们的数据.

import tensorflow as tf

import numpy as np

# create data

x_data = np.random.rand(100).astype(np.float32)

y_data = x_data*0.1 + 0.3

用 tf.Variable 来创建描述 y 的参数. 我们可以把 y_data = x_data*0.1 + 0.3 想象成 y=Weights * x + biases, 然后神经网络也就是学着把 Weights 变成 0.1, biases 变成 0.3.

搭建模型

Weights = tf.Variable(tf.random_uniform([1], -1.0, 1.0))

biases = tf.Variable(tf.zeros([1]))

y = Weights*x_data + biases

计算误差

计算 y 和 y_data 的误差:

tf.reduce_mean：求平均值； tf.square求平方

loss = tf.reduce_mean(tf.square(y-y_data))

传播误差

反向传递误差的工作就教给optimizer（优化器）了, 我们使用的误差传递方法是梯度下降法: Gradient Descent 让后我们使用 optimizer 来进行参数的更新.

tf.train.GradientDescentOptimizer 实现梯度下降算法的优化器 0.5代表学习率

参考链接：优化器Optimizer

optimizer = tf.train.GradientDescentOptimizer(0.5)

train = optimizer.minimize(loss)

训练

到目前为止, 我们只是建立了神经网络的结构, 还没有使用这个结构. 在使用这个结构之前, 我们必须先初始化所有之前定义的Variable, 所以这一步是很重要的!

# init = tf.initialize_all_variables() # tf 马上就要废弃这种写法

init = tf.global_variables_initializer()  # 替换成这样就好

接着,我们再创建会话 Session. 用 Session 来执行 init 初始化步骤. 并且, 用 Session 来 run 每一次 training 的数据. 逐步提升神经网络的预测准确性.

sess = tf.Session()

sess.run(init)          # Very important

for step in range(201):

    sess.run(train)

    if step % 20 == 0:

        print(step, sess.run(Weights), sess.run(biases))

全部代码：

import numpy as np

import tensorflow as tf

# creat data

x_data = np.random.rand(100).astype(np.float32)

y_data = 0.1 * x_data + 0.3

'''

tf.Variable 来创建描述 y 的参数. 我们可以把 y_data = x_data*0.1 + 0.3 想象成 y=Weights * x + biases, 然后神经网络也就是学着把 Weights 变成 0.1, biases 变成 0.3

'''

weights = tf.Variable(tf.random_uniform([1], -1, 1))

biases = tf.Variable(tf.zeros([1]))

y = weights * x_data + biases

# 计算误差

loss = tf.reduce_mean(tf.square(y - y_data))

# 反向传递误差的工作就教给optimizer了, 我们使用的误差传递方法是梯度下降法: Gradient Descent 让后我们使用 optimizer 来进行参数的更新

optimizer = tf.train.GradientDescentOptimizer(0.5)

train = optimizer.minimize(loss)

# 到目前为止, 我们只是建立了神经网络的结构, 还没有使用这个结构. 在使用这个结构之前, 我们必须先初始化所有之前定义的Variable

# init = tf.initialize_all_variables() # tf 马上就要废弃这种写法

init = tf.global_variables_initializer()

# 创建会话 Session,用 Session 来执行 init 初始化步骤. 并且, 用 Session 来 run 每一次 training 的数据. 逐步提升神经网络的预测准确性.

sess = tf.Session()

sess.run(init) # very import

for step in range(201):

    sess.run(train)

    if step % 20 == 0:

        print(step, sess.run(weights), sess.run(biases))

sess.close()

# with tf.Session() as sess:
#     sess.run(init)  # very import
# 
#     for step in range(201):
#         sess.run(train)
#         if step % 20 == 0:
#             print(step, sess.run(weights), sess.run(biases))

三、Session会话控制

Session 是 Tensorflow 为了控制,和输出文件的执行的语句. 运行 session.run() 可以获得你要得知的运算结果, 或者是你所要运算的部分.

下面代码是为了输出两个矩阵相乘的结果

因为 product 不是直接计算的步骤, 所以我们会要使用 Session 来激活 product 并得到计算结果. 有两种形式使用会话控制 Session 。

第二种形式类似于Python对于文件的操作，用with控制，可以避免“忘记关闭session”

import tensorflow as tf

# create two matrixes

matrix1 = tf.constant([[3,3]])

matrix2 = tf.constant([[2],

                       [2]])

product = tf.matmul(matrix1,matrix2)

# method 1

sess = tf.Session()

result = sess.run(product)

print(result)

sess.close()

# [[12]]

# method 2

with tf.Session() as sess:

    result2 = sess.run(product)

    print(result2)

# [[12]]

四、Variable 变量

在 Tensorflow 中，定义了某字符串是变量，它才是变量，这一点是与 Python 所不同的。

定义语法： state = tf.Variable()

tf.Variable.init(initial_value, trainable=True, collections=None, validate_shape=True, name=None)

参数名称：参数类型：含义
initial_value ：所有可以转换为Tensor的类型：变量的初始值
trainable： bool ：如果为True，会把它加入到GraphKeys.TRAINABLE_VARIABLES，才能对它使用Optimizer
collections： list ：指定该图变量的类型、默认为[GraphKeys.GLOBAL_VARIABLES]
validate_shape ：bool ：如果为False，则不进行类型和维度检查
name ：string ：变量的名称，如果没有指定则系统会自动分配一个唯一的值

虽然有一堆参数，但只有第一个参数initial_value是必需的

参考链接：TensorFlow图变量tf.Variable的用法解析

定义常量：one = tf.constant(1)

assign函数用于给图变量赋值

import tensorflow as tf

state = tf.Variable(0, name='counter')

# 定义常量 one

one = tf.constant(1)

# 定义加法步骤 (注: 此步并没有直接计算)

new_value = tf.add(state, one)

# 将 State 更新成 new_value

update = tf.assign(state, new_value)

如果你在 Tensorflow 中设定了变量，那么初始化变量是最重要的！！所以定义了变量以后, 一定要定义 init = tf.initialize_all_variables() .

到这里变量还是没有被激活，需要再在 sess 里, sess.run(init) , 激活 init 这一步

# 如果定义 Variable, 就一定要 initialize

# init = tf.initialize_all_variables() # tf 马上就要废弃这种写法

init = tf.global_variables_initializer()  # 替换成这样就好

# 使用 Session

with tf.Session() as sess:

    sess.run(init)

    for _ in range(3):

        sess.run(update)

        print(sess.run(state))

注意：直接 print(state) 不起作用！！

一定要把 sess 的指针指向 state 再进行 print 才能得到想要的结果！

五、Placeholder 传入值

placeholder 是 Tensorflow 中的占位符，暂时储存变量.

Tensorflow 如果想要从外部传入data, 那就需要用到 tf.placeholder(), 然后以这种形式传输数据 sess.run(***, feed_dict={input: **}).

传值的工作交给了 sess.run() , 需要传入的值放在了feed_dict={} 并一一对应每一个 input. placeholder 与 feed_dict={} 是绑定在一起出现的。

import tensorflow as tf

#在 Tensorflow 中需要定义 placeholder 的 type ，一般为 float32 形式

input1 = tf.placeholder(tf.float32)

input2 = tf.placeholder(tf.float32)

# mul = multiply 是将input1和input2 做乘法运算，并输出为 output

ouput = tf.multiply(input1, input2)

with tf.Session() as sess:

    print(sess.run(ouput, feed_dict={input1: [7.], input2: [2.]}))

# [ 14.]

六、激励函数

我们可以把整个网络简化成这样一个式子. Y = Wx, W 就是我们要求的参数, y 是预测值, x 是输入值. 用这个式子, 我们很容易就能描述线性问题

对于非线性问题，AF 就是指的激励函数，它其实就是另外一个非线性函数. 比如说relu, sigmoid, tanh. 将这些掰弯利器嵌套在原有的结果之上, 强行把原有的线性结果给扭曲了. 使得输出结果 y 也有了非线性的特征.

甚至可以创造自己的激励函数来处理自己的问题, 不过要确保的是这些激励函数必须是可以微分的, 因为在 backpropagation 误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去.

激励函数运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经系统。激励函数的实质是非线性方程。 Tensorflow 的神经网络里面处理较为复杂的问题时都会需要运用激励函数 activation function

激励函数的选择

参考链接：ML激活函数使用法则

tensorflow activation官网

想要恰当使用这些激励函数, 还是有窍门的. 比如当你的神经网络层只有两三层, 不是很多的时候, 对于隐藏层, 使用任意的激励函数, 随便掰弯是可以的, 不会有特别大的影响. 不过, 当你使用特别多层的神经网络, 在掰弯的时候, 玩玩不得随意选择利器. 因为这会涉及到梯度爆炸, 梯度消失的问题.

首选的激励函数：在少量层结构中, 我们可以尝试很多种不同的激励函数. 在卷积神经网络 Convolutional neural networks 的卷积层中, 推荐的激励函数是 relu. 在循环神经网络中 recurrent neural networks, 推荐的是 tanh 或者是 relu