BP神经网络测试MNIST记录
约定:
所有的初始化权值范围,如下,就是说更换激活函数的情况,没有过大的调整初始权重。
if(randomMode==1):
numpy.random.seed(seedWih)
self.wih = numpy.random.rand(self.hNodes, self.iNodes)-0.5
numpy.random.seed(seedWho)
self.who = numpy.random.rand(self.oNodes, self.hNodes)-0.5
else:
numpy.random.seed(seedWih)
self.wih = numpy.random.normal (0.0, pow(self.hNodes,-0.5), (self.hNodes, self.iNodes))
numpy.random.seed(seedWho)
self.who = numpy.random.normal (0.0, pow(self.oNodes,-0.5), (self.oNodes, self.hNodes))
证明神经网络具有学习能力的方案:
为了减少测试时间,
将MNIST_100迭代训练较多次。
然后将其作为测试数据。如果出现了过拟合状态,承认通过训练其具有学习能力。可以进行下述测试:
参数含义:
输入层节点/隐层结点/输出层节点/学习率/初始化权重的分布方案/输入层和隐层的初始化种子/输出层和隐层的初始化种子/使用的激活函数
激活函数为:softmax:
训练1代,达到95.17%的测试识别率。参数为:784/100/10/0.1、rand、4、5、softmax.
训练2代,达到96.16%的测试识别率。参数为:784/100/10/0.1、rand、4、5、softmax.
训练3代,达到96.52%的测试识别率。参数为:784/100/10/0.1、rand、4、5、softmax.
训练4代,达到96.43%的测试识别率。参数为:784/100/10/0.1、rand、4、5、softmax.
训练5代,达到96.56%的测试识别率。参数为:784/100/10/0.1、rand、4、5、softmax.
训练6代,达到96.41%的测试识别率。参数为:784/100/10/0.1、rand、4、5、softmax.
调试参数如下:
inputs = numpy.asfarray( all_values [1:])/255.0*0.99+0.01
targets = numpy.zeros(self.nN.oNodes) + 0.01
targets[int (all_values[0])] = 0.99
fx1=numpy.exp(-final_inputs)/((1+numpy.exp(-final_inputs))*(1+numpy.exp(-final_inputs)))
fx2=numpy.exp(-hidden_inputs)/((1+numpy.exp(-hidden_inputs))*(1+numpy.exp(-hidden_inputs)))
self.who += self.lr * numpy.dot((output_errors * fx1),numpy.transpose(hidden_outputs))
self.wih += self.lr * numpy.dot((hidden_errors * fx2),numpy.transpose(inputs))
激活函数为:softsign:
一点说明:
为什么学习率取值这样
sigmoid*2-1
训练5代,达到65.58%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
训练10代,达到74.39%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
训练15代,达到76.49%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
训练20代,达到83.34%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
训练25代,达到91.8%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
训练30代,达到92.43%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
训练35代,达到92.54%的测试识别率。参数为:784/80/10/0.05、normal、4、5、softsign.
调试参数如下:
inputs = numpy.asfarray( all_values [1:])/255.0*0.5
targets = numpy.zeros(self.nN.oNodes) -0.99
targets[int (all_values[0])] = 0.99
fx1=numpy.exp(-final_inputs)/((1+numpy.exp(-final_inputs))*(1+numpy.exp(-final_inputs)))
fx2=numpy.exp(-hidden_inputs)/((1+numpy.exp(-hidden_inputs))*(1+numpy.exp(-hidden_inputs)))
self.who += self.lr * numpy.dot((output_errors * fx1),numpy.transpose(hidden_outputs))
self.wih += self.lr * numpy.dot((hidden_errors * fx2),numpy.transpose(inputs))
激活函数为:tanh:
训练1代,达到93.57%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
训练2代,达到94.44%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
训练3代,达到94.73%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
训练4代,达到94.47%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
训练5代,达到95.05%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
训练6代,达到95.33%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
训练7代,达到94.86%的测试识别率。参数为:784/80/10/0.05、normal、4、5、tanh.
调试参数如下:
inputs = numpy.asfarray( all_values [1:])/255.0*0.5
targets = numpy.zeros(self.nN.oNodes) -0.99
targets[int (all_values[0])] = 0.99
fx1=numpy.exp(-2*final_inputs)/((1+numpy.exp(-2*final_inputs))*(1+numpy.exp(-2*final_inputs)))
fx2=numpy.exp(-2*hidden_inputs)/((1+numpy.exp(-2*hidden_inputs))*(1+numpy.exp(-2*hidden_inputs)))
self.who += self.lr * numpy.dot((output_errors * fx1),numpy.transpose(hidden_outputs))
self.wih += self.lr * numpy.dot((hidden_errors * fx2),numpy.transpose(inputs))
激活函数为:relu:
部分说明:
关于学习率。过大的学习率导致学习能力丢失,如0.1的学习率在这里过大。
训练1代,达到95.34%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练2代,达到96.12%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练3代,达到96.65%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练4代,达到96.8%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练5代,达到96.95%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练6代,达到97.08%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练7代,达到97.32%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
训练8代,达到97.23%的测试识别率。参数为:784/100/10/0.001、rand、4、5、relu.
调试参数如下:
inputs = numpy.asfarray( all_values [1:])/255.0*0.99+0.01
targets = numpy.zeros(self.nN.oNodes) + 0.01
targets[int (all_values[0])] = 10
final_inputs[final_inputs>0]=1
hidden_inputs[hidden_inputs>0]=1
final_inputs[final_inputs<0]=0
hidden_inputs[hidden_inputs<0]=0
fx1=final_inputs;fx2=hidden_inputs
self.who += self.lr * numpy.dot((output_errors * fx1),numpy.transpose(hidden_outputs))
self.wih += self.lr * numpy.dot((hidden_errors * fx2),numpy.transpose(inputs))
激活函数为:softplus:
训练1代,达到95.62%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练2代,达到96.47%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练3代,达到96.85%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练4代,达到97.06%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练5代,达到97.18%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练6代,达到97.29%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练7代,达到97.34%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练8代,达到97.39%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练9代,达到97.5%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练10代,达到97.54%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练11代,达到97.61%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
训练12代,达到97.6%的测试识别率。参数为:784/100/10/0.001、rand、4、5、softplus.
调试参数如下:
inputs = numpy.asfarray( all_values [1:])/255.0*0.99+0.01
targets = numpy.zeros(self.nN.oNodes) + 0.01
targets[int (all_values[0])] = 10
fx1=numpy.exp(final_inputs)/(1+numpy.exp(final_inputs))
fx2=numpy.exp(hidden_inputs)/(1+numpy.exp(hidden_inputs))
self.who += self.lr * numpy.dot((output_errors * fx1),numpy.transpose(hidden_outputs))
self.wih += self.lr * numpy.dot((hidden_errors * fx2),numpy.transpose(inputs))
BP神经网络测试MNIST记录的更多相关文章
- 机器学习入门-BP神经网络模型及梯度下降法-2017年9月5日14:58:16
BP(Back Propagation)网络是1985年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一. B ...
- bp神经网络模型推导与c语言实现(转载)
转载出处:http://www.cnblogs.com/jzhlin/archive/2012/07/28/bp.html BP 神经网络中的 BP 为 Back Propagation 的简写,最 ...
- BP神经网络模型及梯度下降法
BP(Back Propagation)网络是1985年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一. B ...
- BP神经网络模型与学习算法
一,什么是BP "BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最 ...
- BP神经网络模型及算法推导
一,什么是BP "BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最 ...
- Python实现bp神经网络识别MNIST数据集
title: "Python实现bp神经网络识别MNIST数据集" date: 2018-06-18T14:01:49+08:00 tags: [""] cat ...
- 粒子群优化算法对BP神经网络优化 Matlab实现
1.粒子群优化算法 粒子群算法(particle swarm optimization,PSO)由Kennedy和Eberhart在1995年提出,该算法模拟鸟集群飞行觅食的行为,鸟之间通过集体的协作 ...
- Matlab实现BP神经网络预测(附实例数据及代码)
BP神经网络介绍 神经网络是机器学习中一种常见的数学模型,通过构建类似于大脑神经突触联接的结构,来进行信息处理.在应用神经网络的过程中,处理信息的单元一般分为三类:输入单元.输出单元和隐含单元. 顾名 ...
- BP神经网络公式推导及实现(MNIST)
BP神经网络的基础介绍见:http://blog.csdn.net/fengbingchun/article/details/50274471,这里主要以公式推导为主. BP神经网络又称为误差反向传播 ...
随机推荐
- chattr 和 lsattr 命令介绍---案例:修改passwd文件
chattr命令的作用很大,其中一些功能是由Linux内核版本来支持的,如果Linux内核版本低于2.2,那么许多 功能不能实现.同样-D检查压缩文件中的错误的功能,需要2.5.19以上内核才能支持. ...
- pandas中series和dataframe之间的区别
series结构有索引,和列名组成,如果没有,那么程序会自动赋名为None series的索引名具有唯一性,索引可以数字和字符,系统会自动将他们转化为一个类型object. dataframe由索引和 ...
- http://ctf.bugku.com/challenges#Easy_Re
今天做一道逆向题,开心,见证了自己汇编的用途. 首先看它是否加壳? 1.加壳检测 是vc编程的,没有加壳,可以愉快地分析了. 2.分析程序,找到flag. 首先运行一下子程序, ...
- stark组件之启动【模仿Django的admin】
首先需要在settings注册app INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib ...
- linux命令学习之:sort
sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出.sort命令既可以从特定的文件,也可以从stdin中获取输入. 语法 sort (选项) (参数) 选项 sort将文 ...
- SparseArray
使用SparseArray更加节省内存空间的使用,SparseArray也是以key和value对数据进行保存的.使用的时候只需要指定value的类型即可.并且key不需要封装成对象类型. Has ...
- SSH异常“Failed to start OpenSSH Server daemon”
[root@bogon yum]# systemctl status sshd.service● sshd.service - OpenSSH server daemon Loaded: load ...
- samrty模板变量操作符
count_sentences [计算句数],示例:{$smarty.get.name|count_sentences} count_words [计算词数],示例:{$smarty.get.name ...
- JFinal Web开发学习(五)注册界面和后端验证
效果: 直接点击注册后 : 后端验证是可靠地,前端js验证是不可靠的.只需要在浏览器删除js验证代码即可突破js验证. 1.注册界面 在WebRoot下新建regist.jsp <%@ page ...
- vue之微信登录
参考文章https://www.cnblogs.com/examine/p/4634947.html 微信开放平台和公众平台的区别1.公众平台面向的是普通的用户,比如自媒体和媒体,企业官方微信公众账号 ...