Deep Learning入门视频(下)之关于《感受神经网络》两节中的代码解释
代码1如下:
#深度学习入门课程之感受神经网络(上)代码解释:
import numpy as np
import matplotlib.pyplot as plt #matplotlib是一个库,pyplot是其中一个模块
#%matplotlib inline 适用于在ipython notebook中进行绘图内嵌说明,由于我在Pycharm上写的,应此不需要这条以及下面的几个命令
plt.rcParams['figure.figsize'] = (10.0,8.0) #创建一个10*8大小的绘图对象
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
#%load_ext autoreload
#%autoreload 2
np.random.seed(0) #用于指定随机数生成时所用算法开始的整数值,如果使用相同的seed值,则每次生成的随机数相同
N = 100 #每类有一百个点
D = 2 #每个点是二维的,即x和y值为样本的特征向量
K = 3 #总共有三类,因此总共三百个训练样本
X = np.zeros((N*K,D)) #生成一个300*2的零矩阵
y = np.zeros(N*K,dtype='uint8') #生成一个1*300的零矩阵,类型为uint8
for j in xrange(K): #j从0到2
ix = range(N*j,N*(j+1))
r = np.linspace(0.0,1,N) #radius
t = np.linspace(j*4,(j+1)*4,N) + np.random.randn(N)*0.2 #theta
X[ix] = np.c_[r*np.sin(t),r*np.cos(t)]
y[ix] = j #给300个点分类,每一百一类,即[0,99]为0类,[100,199]为1类,以此类推
fig = plt.figure()
plt.scatter(X[:,0],X[:,1],c=y,s=40,cmap=plt.cm.Spectral) #scatter画散点图;
plt.xlim([-1,1])
plt.ylim([-1,1])
#使用单层神经网络,未使用激活函数,即线性分类
w = 0.01*np.random.randn(D,K) #权值初始化,2*3,即输入两个特征向量,输出三个类别,[-0.01,0.01]
b = np.zeros((1,K)) #阈值初始化,1*3的零矩阵
step_size = 1e-0 #学习步长为1
reg = 1e-3 #正则化系数,10的负三次方
num_examples = X.shape[0] #X是300*2,shape[0]求它第一维的长度即样本个数
for i in xrange(200): #迭代两百次
scores = np.dot(X,w)+b #下面是softmax分类器解释,scores为300*3
exp_score = np.exp(scores) #为300*3
probs = exp_score/np.sum(exp_score,axis = 1,keepdims = True) #每个点分类的得分所占概率(包括正确分类和错误分类),#300*3
corect_logprobs = -np.log(probs[range(num_examples),y]) #probs[range(num_examples),y]是正确分类的概率
data_loss = np.sum(corect_logprobs)/num_examples
reg_loss = 0.5*reg*np.sum(w*w) #正则化项
loss = data_loss+reg_loss
if i%10 == 0: #每迭代10次输出一次Loss值
print 'iteration %d:loss %f'%(i,loss) dscores = probs
dscores[range(num_examples),y] -= 1 #Loss关于scores的偏导,为probs-1
dscores /= num_examples dW = np.dot(X.T,dscores) #data_loss传递下来的梯度
db = np.sum(dscores,axis = 0,keepdims = True) dW +=reg*w #再加上正则化项传递下来的梯度
w += -step_size * dW
b += -step_size * db #求一下分类的准确率
scores = np.dot(X,w)+b
predicted_class = np.argmax(scores , axis=1) #predicted_class为[1,300],为每个点得分最大的所在的那个列数,即类
print 'training accuracy:%.2f'%(np.mean(predicted_class == y)) #mean()是求均值
#画出分类效果
h=0.02
x_min , x_max = X[:,0].min() - 1, X[:,0].max() + 1
y_min , y_max = X[:,1].min() - 1, X[:,1].max() +1
xx, yy = np.meshgrid(np.arange(x_min , x_max ,h),
np.arange(y_min , y_max ,h))
Z = np.dot(np.c_[xx.ravel(),yy.ravel()],w) + b
Z = np.argmax(Z,axis = 1)
Z = Z.reshape(xx.shape)
fig = plt.figure()
plt.contourf(xx,yy,Z,cmap=plt.cm.Spectral,alpha=0.8)
plt.scatter(X[:,0],X[:,1],c=y,s=40,cmap=plt.cm.Spectral)
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.show()
迭代两百次,loss值到后面开始趋于饱和,accuracy为0.49,可见这种单层的神经网络和线性分类得到的最终效果并不好,效果图如下:
下面我们来使用双层神经网络和relu激活函数来进行非线性分类,代码如下:
#深度学习入门课程之感受神经网络(下)代码解释:
import numpy as np
import matplotlib.pyplot as plt #matplotlib是一个库,pyplot是其中一个模块
#%matplotlib inline 适用于在ipython notebook中进行绘图内嵌说明
plt.rcParams['figure.figsize'] = (10.0,8.0) #创建一个10*8大小的绘图对象
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
#%load_ext autoreload
#%autoreload 2
np.random.seed(0) #用于指定随机数生成时所用算法开始的整数值,如果使用相同的seed值,则每次生成的随机数相同
N = 100 #每类有一百个点
D = 2 #每个点是二维的
K = 3 #总共有三类
X = np.zeros((N*K,D)) #生成一个300*2的零矩阵
y = np.zeros(N*K,dtype='uint8') #生成一个1*300的零矩阵,类型为uint8
for j in xrange(K): #j从0到K-1
ix = range(N*j,N*(j+1))
r = np.linspace(0.0,1,N) #radius
t = np.linspace(j*4,(j+1)*4,N) + np.random.randn(N)*0.2 #theta
X[ix] = np.c_[r*np.sin(t),r*np.cos(t)]
y[ix] = j #给300个点分类,每一百一类;
fig = plt.figure()
plt.scatter(X[:,0],X[:,1],c=y,s=40,cmap=plt.cm.Spectral) #scatter画散点图;
plt.xlim([-1,1])
plt.ylim([-1,1])
#使用双层神经网络,使用Relu激活函数,将之前的线性分类变为非线性分类
h = 100 #隐层神经元个数
w = 0.01*np.random.randn(D,h) #D为输入层神经元个数
b = np.zeros((1,h)) w2 = 0.01*np.random.randn(h,K) #K为输出层神经元个数
b2 = np.zeros((1,K)) step_size = 1e-0 #学习步长为1
reg = 1e-3 #正则化系数,10的负三次方 num_examples = X.shape[0] #由于X是300*3矩阵,这里的shape[0]读取它第一维长度及300为样本个数 for i in xrange(10000): #迭代两百次
hidden_layer = np.maximum(0,np.dot(X,w)+b) #ReLu激活函数,hidden_layer为300*100
scores = np.dot(hidden_layer,w2) + b2 exp_scores = np.exp(scores)
probs = exp_scores / np.sum(exp_scores,axis=1,keepdims=True) corect_logprobs = -np.log(probs[range(num_examples),y])
data_loss = np.sum(corect_logprobs) / num_examples
reg_loss = 0.5*reg*np.sum(w*w) + 0.5*reg*np.sum(w2*w2)
loss = data_loss + reg_loss
if i%10 == 0: #每迭代10次输出一次Loss值
print 'iteration %d:loss %f'%(i,loss) dscores = probs
dscores[range(num_examples), y] -= 1 # Loss关于scores的偏导,为probs-1
dscores /= num_examples dw2 = np.dot(hidden_layer.T,dscores)
db2 = np.sum(dscores,axis=0,keepdims=True) dhidden = np.dot(dscores,w2.T) #梯度的反向传播,dihidden是300*100
dhidden[hidden_layer <= 0] = 0 #hidden_layer是隐层的输出值,若隐层输出为0,则对应位置的dhidden梯度为0不传播 dw = np.dot(X.T,dhidden)
db = np.sum(dhidden,axis=0,keepdims=True) dw2 += reg * w2
dw += reg * w w += -step_size * dw
w2+= -step_size * dw2
b += -step_size * db
b2 += -step_size * db2 #求一下准确率
hidden_layer = np.maximum(0,np.dot(X,w)+b)
scores = np.dot(hidden_layer,w2) + b2
predicted_class = np.argmax(scores,axis = 1)
print 'training accuracy: %.2f' %(np.mean(predicted_class == y)) h=0.02
x_min , x_max = X[:,0].min() - 1, X[:,0].max() + 1
y_min , y_max = X[:,1].min() - 1, X[:,1].max() +1
xx, yy = np.meshgrid(np.arange(x_min , x_max ,h),
np.arange(y_min , y_max ,h))
Z = np.dot(np.maximum(0,np.dot(np.c_[xx.ravel(),yy.ravel()],w)+b),w2) + b2
Z = np.argmax(Z,axis = 1)
Z = Z.reshape(xx.shape)
fig = plt.figure()
plt.contourf(xx,yy,Z,cmap=plt.cm.Spectral,alpha=0.8)
plt.scatter(X[:,0],X[:,1],c=y,s=40,cmap=plt.cm.Spectral)
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.show()
上述网络在迭代时,到了后期loss也没有饱和,我们将迭代期改为2000次,loss由原来的1点几降为0.3几且未饱和,accuracy达到97%.效果图如下:
注意:在编写上述代码时要注意矩阵的操作!
Deep Learning入门视频(下)之关于《感受神经网络》两节中的代码解释的更多相关文章
- Deep Learning入门视频(上)_一层/两层神经网络code
关于在51CTO上的深度学习入门课程视频(9)中的code进行解释与总结: (1)单层神经网络: #coding:cp936 #建立单层神经网络,训练四个样本, import numpy as np ...
- 大牛deep learning入门教程
雷锋网(搜索"雷锋网"公众号关注)按:本文由Zouxy责编,全面介绍了深度学习的发展历史及其在各个领域的应用,并解释了深度学习的基本思想,深度与浅度学习的区别和深度学习与神经网络之 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1
3.Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2
3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.3
3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.3 http://blog.csdn.net/sunbow0 ...
- 基于Deep Learning 的视频识别方法概览
深度学习在最近十来年特别火,几乎是带动AI浪潮的最大贡献者.互联网视频在最近几年也特别火,短视频.视频直播等各种新型UGC模式牢牢抓住了用户的消费心里,成为互联网吸金的又一利器.当这两个火碰在一起,会 ...
- Deep Learning入门
今天在看电影的过程中我忽然想起来几件特别郁闷的事,我居然忘了上周三晚上的计算机接口的实验课!然后我又想起来我又忘了上周六晚上的就业指导!然后一阵恐惧与责备瞬间涌了上来.这事要是在以前我绝对会释然的,可 ...
- deep learning入门:感知机
权重和偏置 import numpy as np # 求x1 and x2 def AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5 ...
- Neural Networks and Deep Learning 课程笔记(第二周)神经网络的编程基础 (Basics of Neural Network programming)
总结 一.处理数据 1.1 向量化(vectorization) (height, width, 3) ===> 展开shape为(heigh*width*3, m)的向量 1.2 特征归一化( ...
随机推荐
- React业务实践
总结自:http://reactjs.cn/react/docs/thinking-in-react-zh-CN.html 当接到一个需求时,如何用react来实现? 以下几个步骤做参考. 第一步:把 ...
- jquery实现html表格隔行变色
效果图 实现代码: 通过css控制样式,利用jquery的addClass方法实现 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Trans ...
- [算法][LeetCode]Linked List Cycle & Linked List Cycle II——单链表中的环
题目要求 Linked List Cycle Given a linked list, determine if it has a cycle in it. Follow up: Can you so ...
- 在c#中使用指针
如果想在c#中使用指针,首先对项目进行配置:在解决方案资源管理器中右击项目名选择属性(或在项目菜单中选择consoleApplication属性(consoleApplication为项名)),在生成 ...
- 入门Webpack,看这篇就够了
来源于:http://www.jianshu.com/p/42e11515c10f 写在前面的话 阅读本文之前,先看下面这个webpack的配置文件,如果每一项你都懂,那本文能带给你的收获也许就比较有 ...
- spring mvc 项目聚合
创建一个maven 项目当父项目 创建时选择默认就可以 创建完成后 修改 pom.xml文件 把 packaging 的war改为pom <modelVersion>4.0.0</ ...
- Freemarker判断是否为空
1.判断对象是否为空 freemarker中显示某对象使用${name}. 但如果name为null,freemarker就会报错.如果需要判断对象是否为空: <#if name??> - ...
- HTML5 图片缩放功能
腾讯新闻上用的插件(xw.qq.com) 缩放插件scale.js (function(window, undefined) { var document = window.document, sup ...
- 没有为 COM 互操作注册程序集 请使用 regasm.exe /tlb 注册该程序集——解决办法
错误现象: 错误 6 没有为 COM 互操作注册程序集“DevExpress.Utils.v13.1, Version=13.1.7.0, Culture=neutral, PublicKeyToke ...
- HTML5学习总结-番外05 响应式布局
1. 响应式布局 响应式布局是2015年5月份提出的一个概念,简而言之,就是一个网站能够兼容多个终端,而不是为每个终端做一个特定的版本.这个概念是为解决移动互联网浏览而诞生的.其目的是为用户提欧共更加 ...