用Tensorflow搭建神经网络的一般步骤

用Tensorflow搭建神经网络的一般步骤如下:

① 导入模块

② 创建模型变量和占位符

③ 建立模型

④ 定义loss函数

⑤ 定义优化器(optimizer), 使 loss 达到最小

⑥ 引入激活函数, 即添加非线性因素 (线性回归问题跳过此步骤)

⑦ 训练模型

⑧ 检验模型

⑨ 使用模型预测数据

⑩ 保存模型

⑪ 使用Tensorboard的可视化功能

下面以一个简单的线性回归问题为例:

首先是训练模型的代码: train_model.py

 # ① 导入模块
 import tensorflow as tf

 # ② 创建模型的变量和占位符
 W = tf.Variable([.3], dtype=tf.float32)
 b = tf.Variable([-.3], dtype=tf.float32)
 x = tf.placeholder(tf.float32, name="input_x")
 y = tf.placeholder(tf.float32, name="input_y")

 # ③建立模型
 linear_model = W*x + b
 # 如果是矩阵相乘，可以写成：
 # linear_model = tf.matmul(x, W)+b  # matmul表示矩阵相乘

 # ④ 定义loss函数
 loss = tf.reduce_sum(tf.square(linear_model - y))

 # ⑤ 定义优化器(optimizer), 使 loss 达到最小
 learning_rate=0.01
 optimizer = tf.train.GradientDescentOptimizer(learning_rate = learning_rate)
 train = optimizer.minimize(loss)

 # ⑥ 引入激活函数, 即添加非线性因素。(线性回归问题跳过此步骤)

 # ⑦ 训练模型
 # 假设模型是y=2x+1
 x_train = [1, 2, 3, 4]
 y_train = [3, 5, 7, 9]

 init = tf.global_variables_initializer() # 添加用于初始化变量的节点
 sess = tf.Session()
 sess.run(init) # 运行初始化操作
 for step in range(1000):
    sess.run(train, {x: x_train, y: y_train})

 '''
 第⑦步和第⑩步可以合并为:
 for step in xrange(1000000):
     sess.run(train, {x: x_train, y: y_train})
     if step % 1000 == 0:
         saver.save(sess, 'my-model', global_step=step)
 '''

 # ⑧ 检验模型
 curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
 print("W: %s b: %s loss: %s"%(curr_W, curr_b, curr_loss))
 '''
 W: [ 2.00000167] b: [ 0.99999553] loss: 1.29603e-11
 '''

 # ⑨ 使用模型预测数据
 x_predict = [-1, 0, 1, 2]
 predicted_values=sess.run(linear_model, feed_dict={x:x_predict})
 # 注意这么一种写法： predicted_values = [(W*x + b).eval(session=sess) for x in x_predict]
 print("result:", predicted_values)
 '''
 result: [-1.0000062   0.99999553  2.99999714  4.99999905]
 '''

 # ⑩ 保存模型
 tf.add_to_collection("predict_network", linear_model)
 saver = tf.train.Saver()
 saver_path=saver.save(sess, "save/model.ckpt")

 # ⑪ 使用Tensorboard的可视化功能
 # 定义保存日志的路径
 path = "log"  # 也可写成: path = "./log"
 writer=tf.summary.FileWriter(path, sess.graph)

 sess.close()

然后是载入模型的代码: restore_model.py

 import tensorflow as tf

 with tf.Session() as sess:
     new_saver=tf.train.import_meta_graph("save/model.ckpt.meta")
     new_saver.restore(sess,"save/model.ckpt")
     # print(tf.get_collection("predict_network"))
     restored_y=tf.get_collection("predict_network")[0]  # tf.get_collection() 返回一个list. 但是这里只要第一个参数即可

     graph=tf.get_default_graph()
     restored_x=graph.get_operation_by_name("input_x").outputs[0]

     predict_data = [-2, 3, 4]
     predicted_result = sess.run(restored_y, feed_dict={restored_x:predict_data})

     print("result:", predicted_result)  # result: [-3.00000787  7.00000048  9.00000191]