5 TensorFlow入门笔记之RNN实现手写数字识别
————————————————————————————————————
写在开头:此文参照莫烦python教程(墙裂推荐!!!)
————————————————————————————————————
循环神经网络RNN
相关名词:
- LSTM:长短期记忆
- 梯度消失/梯度离散
- 梯度爆炸
- 输入控制:控制是否把当前记忆加入主线网络
- 忘记控制:控制是否暂时忘记主线网络,先看当前分线
- 输出控制: 控制输出是否要考虑要素
- 数据有顺序的/序列化
- 前面的影响后面的
RNN LSTM 之分类
识别手写数字
- 识别手写数字
- mnist数据集
- 一行一行地识别
rnn使用错误及修正
- 错误一:
错误描述: ValueError: Variable tf.nn.dynsmic_rnn/rnn/basic_lstm_cell/kernel already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:
错误解决:看你的训练数据和测试数据是否放在同一个文件下,若是,要加上下面一句:
#如果训练和测试数据存放在同一个文件中,一定要加下面这句!
tf.reset_default_graph()
如果这时候出现了错误二,就用下面的解决方法:
- 错误二
错误描述:ValueError: Tensor(“tf.nn.dynsmic_rnn/rnn/Const:0”, shape=(1,), dtype=int32) must be from the same graph as Tensor(“ExpandDims:0”, shape=(1,), dtype=int32).
错误解决:
#把tf.reset_default_graph() 改为:
tf.Graph()
完整代码
下面是完整的分类代码及结果
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#load data
mnist = input_data.read_data_sets('MNIST_data',one_hot = True)
#参数
lr = 0.001
training_iters = 100000 #循环次数
batch_size = 128
n_inputs = 28 #因为照片是28*28,而每次都读一行,所以input为28
n_steps = 28 #因为有28行,所以要input28步
n_hidden_unis = 128 #隐藏层,自己设
n_classes = 10 #10个数字(0-9),所以类别有10种
#holder
x = tf.placeholder(tf.float32,[None,n_steps,n_inputs])
y = tf.placeholder(tf.float32,[None,n_classes])
#定义权重
weights = {
#input weights(28,128)
'in':tf.Variable(tf.random_normal([n_inputs,n_hidden_unis])),
#output weights(128,10)
'out':tf.Variable(tf.random_normal([n_hidden_unis,n_classes]))
}
#定义偏置
biases = {
'in':tf.Variable(tf.constant(0.1,shape=[n_hidden_unis,])),
'out':tf.Variable(tf.constant(0.1,shape =[n_classes,]))
}
#定义RNN
def RNN(X,weights,biasis):
#hidden layer
#X(128,28,28) ==>(128*28,28)
X = tf.reshape(X,[-1,n_inputs])
X_in =tf.matmul(X,weights['in']+biases['in']) #(128*28,128)
X_in = tf.reshape(X_in,[-1,n_steps,n_hidden_unis])#(128,28,128)
#cell
#forget_bais推荐初始化为1.0
#with tf.variable_scope('lstm_cell'):
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(n_hidden_unis,forget_bias=1.0,state_is_tuple=True)
#with tf.variable_scope('init_'):
init_state = lstm_cell.zero_state(batch_size,dtype=tf.float32)
#output是个列表;这里实践维度在行,就是X_in的第二个,所以为false,时间维度为第一个,则true
with tf.variable_scope('tf.nn.dynsmic_rnn'):
outputs,states = tf.nn.dynamic_rnn(lstm_cell,X_in,initial_state=init_state,time_major=False)
#output
results = tf.matmul(states[1],weights['out']+biases['out'])
##other way,这里可用
#outputs = tf.unpack(tf.transpose(outputs,[1,0,2]))
#results = tf.matmuo(outputs[-1],weights['out']+biases['out'])
return results
#如果训练和测试数据存放在同一个文件中,一定要加下面这句!
tf.Graph()
pred = RNN(x,weights,biases)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=pred))
train_op = tf.train.AdamOptimizer(lr).minimize(cost)
correct_pred = tf.equal(tf.argmax(pred,1),tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_pred,tf.float32))
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
step = 0
while step*batch_size < training_iters:
batch_xs,batch_ys = mnist.train.next_batch(batch_size)
batch_xs = batch_xs.reshape([batch_size,n_steps,n_inputs])
sess.run([train_op],feed_dict={x:batch_xs,y:batch_ys,})
if step%50 == 0:
print(sess.run(accuracy,feed_dict = {
x:batch_xs,y:batch_ys,
}))
step += 1
Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
0.2109375
0.78125
0.84375
0.9140625
0.921875
0.921875
0.9375
0.9453125
0.96875
0.9140625
0.953125
0.984375
0.9609375
0.9453125
0.96875
0.9921875
由上面的结果来看,RNN的效果还是很不错的!
*点击[这儿:TensorFlow]发现更多关于TensorFlow的文章*
5 TensorFlow入门笔记之RNN实现手写数字识别的更多相关文章
- TensorFlow使用RNN实现手写数字识别
学习,笔记,有时间会加注释以及函数之间的逻辑关系. # https://www.cnblogs.com/felixwang2/p/9190664.html # https://www.cnblogs. ...
- Pytorch入门——手把手教你MNIST手写数字识别
MNIST手写数字识别教程 要开始带组内的小朋友了,特意出一个Pytorch教程来指导一下 [!] 这里是实战教程,默认读者已经学会了部分深度学习原理,若有不懂的地方可以先停下来查查资料 目录 MNI ...
- SVM学习笔记(二)----手写数字识别
引言 上一篇博客整理了一下SVM分类算法的基本理论问题,它分类的基本思想是利用最大间隔进行分类,处理非线性问题是通过核函数将特征向量映射到高维空间,从而变成线性可分的,但是运算却是在低维空间运行的.考 ...
- TensorFlow(十二):使用RNN实现手写数字识别
上代码: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist ...
- Tensorflow项目实战一:MNIST手写数字识别
此模型中,输入是28*28*1的图片,经过两个卷积层(卷积+池化)层之后,尺寸变为7*7*64,将最后一个卷积层展成一个以为向量,然后接两个全连接层,第一个全连接层加一个dropout,最后一个全连接 ...
- TensorFlow(十):卷积神经网络实现手写数字识别以及可视化
上代码: import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = inpu ...
- mnist手写数字识别——深度学习入门项目(tensorflow+keras+Sequential模型)
前言 今天记录一下深度学习的另外一个入门项目——<mnist数据集手写数字识别>,这是一个入门必备的学习案例,主要使用了tensorflow下的keras网络结构的Sequential模型 ...
- TensorFlow卷积神经网络实现手写数字识别以及可视化
边学习边笔记 https://www.cnblogs.com/felixwang2/p/9190602.html # https://www.cnblogs.com/felixwang2/p/9190 ...
- 【问题解决方案】Keras手写数字识别-ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接
参考:台大李宏毅老师视频课程-Keras-Demo 在载入数据阶段报错: ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接 Google之 ...
随机推荐
- CSRF学习笔记之CSRF的攻击与防御以及审计【00x2 】
Medium完整代码: <?php if (isset($_GET['Change'])) { // Checks the http referer header if ( eregi ( &q ...
- extjs增删改查(自己调用extjs)
jsp页面如下:materialsDetail.jsp <%@ page language="java" import="java.util.*" pag ...
- CentOS 7 ifconfig: command not found
# ifcon-bash: ifconfig: command not found谷歌了一下,整理了一下解决思路 查看ifconfig命令是否存在 查看 /sbin/ifconfig是否存在 如果if ...
- nginx配置事例
#user nobody; worker_processes 4; #error_log logs/error.log; #error_log logs/error.log notice; #erro ...
- ArcGIS教程:“流向”的工作原理
获取表面的水文特征的关键之中的一个是可以确定从栅格中的每一个像元流出的方向.这可通过流向工具来完毕. 该工具把表面作为输入,然后输出一个显示从每一个像元流出方向的栅格. 假设选择了输出下降率栅格数据选 ...
- linux引导模式两种
https://www.ibm.com/developerworks/cn/linux/l-bootload.html
- spark(1.1) mllib 源码分析(三)-朴素贝叶斯
原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/4042467.html 本文主要以mllib 1.1版本为基础,分析朴素贝叶斯的基本原理与源码 一.基本原 ...
- SharePoint 2013/2010 在一个列表或文档库内移动列表项,文档和目录位置而保持last modify by 等系统字段保持不变
本文讲述SharePoint 2013/2010 在一个列表或文档库内移动列表项.文档和目录位置而保持last modify by 等系统字段保持不变的解决方式. 近期遇到客户一个需求,在一个列表或文 ...
- Android 切换主题以及换肤的实现
Android 切换主题以及换肤的实现 一.介绍 现在市面上有很多 APP 有切换主题和皮肤的功能!特别是阅读类的 APP! 上面两张图分别是 知乎 APP 和Fuubo APP的两张截图!都带有切换 ...
- Windows查看网络端口被占用情况netstat命令
在windows命令行窗口下执行: C:\>netstat -aon|findstr "80" TCP 127.0.0.1:80 0.0.0.0:0 ...