如果不对模型参数进行保存,当训练结束以后,模型也在内存中被释放,下一轮又需要对模型进行重新训练,有没有一种方法,可以利用之前已经训练好的模型参数值,直接进行模型推理或者继续训练?这里需要引入一个数据之久化的概念,其通用定义就是将内存中的数据模型转换为存储模型,以及将存储模型转换为内存中的数据模型的统称。

OK,在tensorflow中,持久化可以是我们训练好的神经网络权重值和biase值写入到文件中,下一次直接从文件中进行读取,而不需要重新对模型进行训练。

用tensorflow写一个简单的示例:求两个变量v1和v2的和,然后将其保存result变量中,然后将其保存到文件中,下一次训练时直接读取文件。

先看保存程序:

import tensorflow as tf

# 定义两个变量,并对其进行求和
v1 = tf.Variable(tf.constant(value=1.0,dtype=tf.float32,shape=[1],name="v1"))
v2 = tf.Variable(tf.constant(value=2.0,dtype=tf.float32,shape=[1],name="v2"))
result = v1 + v2 # 将求和操作加到result集合中
tf.add_to_collection('result',result) # 新建一个持久化对象
saver = tf.train.Saver() # 运行会话,并持久化模型
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
# 如下操作执行完以后,会在sample_test目录下生成四个文件:
# checkpoint:所有模型文件列表
# model.data-00000-of-00001:
# model-index:
# model.meta:计算图的结构
saver.save(sess=sess,save_path="sample_test/model")

如果要重新加载模型,新的代码可以这么写:

import tensorflow as tf

# 从之前保存的点新建一个持久化对象
saver = tf.train.import_meta_graph(meta_graph_or_file="sample_test/model.meta") with tf.Session() as sess:
# 重新加载保存的参数值
saver.restore(sess=sess,save_path="sample_test/model")
# 注意get_collection返回一个列表,如果直接运行,结果也是一个List,注意比较下面的区别:
print(tf.get_collection(key="result"))
print(sess.run(tf.get_collection(key='result')))
'''
[<tf.Tensor 'add:0' shape=(1,) dtype=float32>]
[array([3.], dtype=float32)]
''' print(tf.get_collection(key="result")[0])
print(sess.run(tf.get_collection(key='result')[0]))
'''
tf.Tensor 'add:0' shape=(1,)
[3.]
'''

进一步,如果我们的网络结构加入了滑动平均模型,重新加载模型时,我们往往是希望用其进行验证,需要使用滑动平均模型参数的值,一个完整的示例如下:

训练时:

# 导入库
import tensorflow as tf # 定义一个变量
v = tf.Variable(initial_value=0,dtype=tf.float32,name='v') # 显示当前有哪些变量
# <tf.Variable 'v:0' shape=() dtype=float32_ref>
for variable in tf.global_variables():
print(variable) # 定义一个滑动平均模型,和变量应用模型的操作
ema = tf.train.ExponentialMovingAverage(0.999)
maintain_average_op = ema.apply(tf.global_variables()) # 显示当前有哪些变量
# <tf.Variable 'v:0' shape=() dtype=float32_ref>
# <tf.Variable 'v/ExponentialMovingAverage:0' shape=() dtype=float32_ref>
for variable in tf.global_variables():
print(variable) saver = tf.train.Saver() # 执行会话,并持久化
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
sess.run(tf.assign(ref=v,value=10))
sess.run(maintain_average_op)
saver.save(sess=sess,save_path="sample_test/model")
print(sess.run([v,ema.average(v)]))

重新加载时:

import tensorflow as tf

v = tf.Variable(0,dtype=tf.float32,name='v')

ema = tf.train.ExponentialMovingAverage(0.999)
saver = tf.train.Saver(ema.variables_to_restore()) # {'v/ExponentialMovingAverage': <tf.Variable 'v:0' shape=() dtype=float32_ref>}
print(ema.variables_to_restore()) with tf.Session() as sess:
saver.restore(sess,save_path="sample_test/model")
# 自动加载滑动平均值来代替变量的值
# 0.009999871
print(sess.run(v))

day-20 tensorflow持久化之入门学习的更多相关文章

  1. 人工智能新手入门学习路线和学习资源合集(含AI综述/python/机器学习/深度学习/tensorflow)

    [说在前面]本人博客新手一枚,象牙塔的老白,职业场的小白.以下内容仅为个人见解,欢迎批评指正,不喜勿喷![握手][握手] 1. 分享个人对于人工智能领域的算法综述:如果你想开始学习算法,不妨先了解人工 ...

  2. TensorFlow.NET机器学习入门【8】采用GPU进行学习

    随着网络越来约复杂,训练难度越来越大,有条件的可以采用GPU进行学习.本文介绍如何在GPU环境下使用TensorFlow.NET. TensorFlow.NET使用GPU非常的简单,代码不用做任何修改 ...

  3. msp430入门学习20

    msp430的USART模式 msp430入门学习

  4. TensorFlow.NET机器学习入门【4】采用神经网络处理分类问题

    上一篇文章我们介绍了通过神经网络来处理一个非线性回归的问题,这次我们将采用神经网络来处理一个多元分类的问题. 这次我们解决这样一个问题:输入一个人的身高和体重的数据,程序判断出这个人的身材状况,一共三 ...

  5. MyBatis入门学习教程-使用MyBatis对表执行CRUD操作

    上一篇MyBatis学习总结(一)--MyBatis快速入门中我们讲了如何使用Mybatis查询users表中的数据,算是对MyBatis有一个初步的入门了,今天讲解一下如何使用MyBatis对use ...

  6. opengl入门学习

    OpenGL入门学习 说起编程作图,大概还有很多人想起TC的#include <graphics.h>吧? 但是各位是否想过,那些画面绚丽的PC游戏是如何编写出来的?就靠TC那可怜的640 ...

  7. MyBatis入门学习(二)

    在MyBatis入门学习(一)中我们完成了对MyBatis简要的介绍以及简单的入门小项目测试,主要完成对一个用户信息的查询.这一节我们主要来简要的介绍MyBatis框架的增删改查操作,加深对该框架的了 ...

  8. OpenGL入门学习(转)

    OpenGL入门学习 http://www.cppblog.com/doing5552/archive/2009/01/08/71532.html 说起编程作图,大概还有很多人想起TC的#includ ...

  9. Bootstrap3.0入门学习系列

    Bootstrap3.0入门学习系列规划[持续更新]   前言 首先在此多谢博友们在前几篇博文当中给与的支持和鼓励,以及在回复中提出的问题.意见和看法. 在此先声明一下,之前在下小菜所有的随笔文章中, ...

随机推荐

  1. mybatis传单个参数,和<if>标签同时使用的问题

    // Mapper.java EmerEvent selectByAlarmId(Integer alarmId); // Mapper.xml <select id="selectB ...

  2. STL笔记

    STL的基本概念: 1-容器:是可容纳各种类型的数据结构,是 类模板. 2-迭代器:是用于依次存放容器中的元素,类似指针. 3-算法: 是用于操作容器中元素的 函数模板. sort() 用来对 vec ...

  3. lock free

    #include <thread> #include <iostream> #include <mutex> #include <atomic> #in ...

  4. Zabbix——使用邮件报警

    前提条件: 1. Zabbix版本4.0 zabbix-server 命令配置: yum install mailx -y #下载邮件功能 vi /etc/mail.rc set bsdcompat ...

  5. .Net core使用Quartz.Net 实现定时任务

    很多情况下,我们需要完成一些定时执行的功能,用很多定时工具,像:hangfire,TimeJob,以及Quartz.net,不过quartz.net 比较精确一些,功能也比较强大,所以我选择了Quar ...

  6. 常用模块 - shutil模块

    一.简介 shutil – Utility functions for copying and archiving files and directory trees.(用于复制和存档文件和目录树的实 ...

  7. 解决gradle下载慢的问题(转)

    问题一:新建项目下载gradle慢的问题 解决方法: 打开用户主目录 linux平台/home/用户名/.gradle windows平台c:\Users\用户名\.gradle macos平台/Us ...

  8. kubernetes基础使用

    查看节点详细信息 kubectl describe node vm2 显示版本号 kubectl version Client Version: version.Info{Major:"1& ...

  9. apache上.htaccess转向nginx上配置.htaccess伪静态规则

    nginx上配置.htaccess伪静态规则 在apache上.htaccess转向,只要apache编译的时候指明支持rewrite模块即可. 但是换到nginx上方法会有不同,有人说把.htacc ...

  10. Java学习笔记二十八:Java中的接口

    Java中的接口 一:Java的接口: 接口(英文:Interface),在JAVA编程语言中是一个抽象类型,是抽象方法的集合,接口通常以interface来声明.一个类通过继承接口的方式,从而来继承 ...