Tensorflow学习笔记2019.01.22

tensorflow学习笔记2

edit by Strangewx 2019.01.04

4.1 机器学习基础

4.1.1 一般结构：

初始化模型参数：通常随机赋值，简单模型赋值0

训练数据：一般打乱。random.shuffle()

在训练数据上推断模型：得到输出

计算损失：loss(X, Y)多种损失函数

调整模型参数：最小化损失 SGD等优化方法。

评估：70%：30% 分训练集和校验集

代码框架：

1. 首先模型参数初始化，

2. 然后为每个训练闭环中的运算定义一个方法：读取训练数据input，计算推断模型inference，计算相对期望输出的损失loss，调整模型参数train，评估训练模型evaluate，

3. 之后启动一个Session会话对象，并进行闭环训练。

4. 模型满意之后，导出模型，用它对所需要的数据进行推断，例如：为冰激凌App用户推荐不同口味的冰激凌。

import tensorflow as tf
​
#初始化变量和模型参数，定义训练闭环中的运算
​
def inference(X):
    #计算推断模型在数据X上的输出，并将结果返回。
​
def loss(X, Y):
    #依据训练数据X和期望输出Y计算损失
    
def inputs():
    #读取或生成训练数据X，期望输出Y
    
def train(total_loss):
    #依据计算的总损失，训练或调整模型参数。
    
def evalute(sess, X, Y):
    #队训练模型进行评估
    
#在一个会话对象中启动数据流图，搭建流程
with tf.Session() as sess:
    
    tf.global_variables_initializer().run()
    
    X, Y = inputs()
   
    total_loss = loss(X, Y)
    train_op = train(total_loss)
    
    coor = tf.train.Coordinator()
    threads = tf.train.start_queue_rnners(sess=sess, coor=coord)
    
    #实际训练迭代轮数
    training_steps = 1000
    for step in range(training_steps):
        sess.run([train_op])
        #为了调试和学习的目的，查看损失在训练过程中的变化
        if step % 100 == 0:
            print("loss:",sess.run([total_loss]))
    
    evalute(sess, X, Y)
    
    coord.request_stop()
    coord.join(thread)
    sess.close()  

保存训练检查点&恢复

• tf.train.Saver()类

目的：

将数据流图中的变量保存到专门的二进制文件中。周期性保存所有变量，创建检查点（checkpoint）文件，并在必要时从最近的检查点恢复。

每次调用tf.train.Saver.save 方法，都会创建一个 my-model-step的检查点文件，如my-model-1000，my-model-2000等。默认情况保存近5次的文件

在上述框架稍作修改：

#模型定义代码 ...
#创建一个Saver()类
saver = tf.train.Saver()
​
#在一个会话对象中启动数据流图，搭建流程
with tf.Session() as sess:
    #模型设置...
    
    #实际的闭环训练
    for step in range(training_steps):
        sess.run([train_op])
        
        if step % 1000 == 0:
            saver.save(sess, 'my-model', global_step=step)
            
    #模型评估。。。
    #最终模型保存
    saver.save(sess, 'my-model', global_step=training_steps)
    
    sess.close()   

• tf.train.get_checkpoint_state

验证之前是否有检查点文件被保存下来

• tf.train.Saver.restore

负责恢复变量值。

#在一个会话对象中启动数据流图，搭建流程
with tf.Session() as sess:
    #模型设置...
    
    initial_step = 0
    
    #验证之前是否存在检查点文件
    ckpt = tf.train.get_checkpoint_state(os.path.dirname(__file__))
    if ckpt and ckpt.model_checkpoint_path:
        #从检查点恢复模型参数
        saver.restore(sess, ckpt.model_checkpoint_path)
        initial_step = int(ckpt.model_checkpoint_path.split('-', 1)[1])
    
    #实际的闭环训练
    for step in range(initial_step, training_steps):
        #...
​

4.1.2 整合架构

包括：一般架构，训练点保存和恢复

import tensorflow as tf
​
#初始化变量和模型参数，定义训练闭环中的运算
​
def inference(X):
    #计算推断模型在数据X上的输出，并将结果返回。
​
def loss(X, Y):
    #依据训练数据X和期望输出Y计算损失
    
def inputs():
    #读取或生成训练数据X，期望输出Y
    
def train(total_loss):
    #依据计算的总损失，训练或调整模型参数。
    
def evalute(sess, X, Y):
    #队训练模型进行评估
    
#--checkpoint--创建一个Saver()类
saver = tf.train.Saver()
​
#在一个会话对象中启动数据流图，搭建流程
with tf.Session() as sess:
    
    tf.global_variables_initializer().run()
    
    X, Y = inputs()
   
    total_loss = loss(X, Y)
    train_op = train(total_loss)
    
    coor = tf.train.Coordinator()
    threads = tf.train.start_queue_rnners(sess=sess, coor=coord)
    
    
    #--checkpoint恢复--
    initial_step = 0
    #验证之前是否存在检查点文件
    ckpt = tf.train.get_checkpoint_state(os.path.dirname(__file__))
    if ckpt and ckpt.model_checkpoint_path:
        #从检查点恢复模型参数
        saver.restore(sess, ckpt.model_checkpoint_path)
        initial_step = int(ckpt.model_checkpoint_path.split('-', 1)[1])  
    
    
    #实际训练迭代轮数
    training_steps = 10000
    for step in range(initial_step, training_steps):
        sess.run([train_op])
        #为了调试和学习的目的，查看损失在训练过程中的变化
        if step % 100 == 0:
            print("loss:",sess.run([total_loss]))
        #--checkpoint--每1000次保存训练检查点
        if step % 1000 == 0:
            saver.save(sess, 'my-model', global_step=step)
    
    evalute(sess, X, Y)
    
    #--checkpoint--最终模型保存
    saver.save(sess, 'my-model', global_step=training_steps)
    
    coord.request_stop()
    coord.join(thread)
    sess.close()  

4.2 线性回归

Y=XW + b

实例：脂肪含量和年龄，体重的关系。

代码：

import tensorflow as tf
import numpy as np
​
#初始化变量和模型参数
W = tf.Variable(tf.zeros([2,1]), name="weights")
b = tf.Variable(0., name="bias")
​
#定义闭环训练的方法
def inference(X):
    return tf.matmul(X, W) + b
​
def loss(X, Y):
    #此处采用均方误差
    Y_predicted = inference(X)
    return tf.reduce_sum(tf.squared_difference(Y, Y_predicted))
    
def inputs():
    #体重年龄
    weight_age = [[84, 46], [73, 20], [65, 52], [70, 30],[76, 57],
                   [69, 25], [63, 28], [72, 36], [79, 57], [75, 44],
                   [27, 24], [89, 31], [65, 52], [57, 23], [59, 60], 
                   [69, 48] ,[60, 34], [79, 51], [75, 50], [82, 34], 
                   [59, 46], [67, 23],[85, 37], [55, 40], [63, 30]]
    #血脂含量
    blood_fat_content = [354, 190, 405, 263, 451, 302, 288,385, 402,
                           365, 209, 290, 346, 254, 395, 434, 220, 374,
                           308,220, 311, 181, 274, 303, 244]
​
    return tf.to_float(weight_age), tf.to_float(blood_fat_content)
​
def train(total_loss):
    learning_rate = 0.0000001
    return tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss)
​
def evaluate(sess, X, Y):
    print(sess.run(inference([[80., 25.]])))
    print(sess.run(inference([[65., 25.]])))
    print(sess.run(inference([[84., 46.]])))
​
with tf.Session() as sess:
    
    tf.global_variables_initializer().run()
    
    X, Y = inputs()
    total_loss = loss(X, Y)
    train_op = train(total_loss)
    
​
    # 开启一个协调器  
    coord = tf.train.Coordinator()  
    # 使用start_queue_runners 启动队列填充  
    threads = tf.train.start_queue_runners(sess, coord)
    #实际训练迭代轮数
    training_steps = 5000
    for step in range(training_steps):
        sess.run([train_op])
        #为了调试和学习的目的，查看损失在训练过程中的变化
        if step % 1000 == 0:
            print("loss:",sess.run([total_loss]))
            print(W.eval(), b.eval())
    
    evaluate(sess, X, Y)
    coord.request_stop()
    coord.join(threads)
    sess.close() 
'''
输出:
loss: [7608772.5]
[[2.6675313]
 [1.5194209]] 0.03884
loss: [5330322.0]
[[3.5245109]
 [1.5017073]] 1.1460863
loss: [5318362.0]
[[3.512061 ]
 [1.4964026]] 2.2396185
loss: [5306486.5]
[[3.4996552]
 [1.4911169]] 3.3292856
loss: [5294695.0]
[[3.4872932]
 [1.4858491]] 4.415105
---evaluate result---
[[320.51013]]
[[268.3853]]
[[365.50278]]
'''   

小插曲《typora使用指南》

参考：https://blog.csdn.net/moonclearner/article/details/52842679

表情