终于来到了最终的大BOSS,卷积神经网络~ 这里我想还是主要关注代码的实现,具体的CNN的知识点想以后在好好写一写,CNN的代码关键就是要加上卷积层和池话层. 一.卷积层 卷积层的前向传播还是比较容易的,我们主要关注的是反向传播,看下图就知道了: def conv_forward_naive(x, w, b, conv_param): stride, pad = conv_param['stride'], conv_param['pad'] N, C, H, W = x.shape F, C,…

一.参数更新策略     1.SGD 也就是随机梯度下降,最简单的更新形式是沿着负梯度方向改变参数(因为梯度指向的是上升方向,但是我们通常希望最小化损失函数).假设有一个参数向量x及其梯度dx,那么最简单的更新的形式是: x += - learning_rate * dx 其中learning_rate是一个超参数,表示的是更新的幅度.这是一个重要的参数,lr过大可能会出现loss异常的情况,过小会使训练时间过长,后面也会介绍lr参数更新的一些trick. 2. Momentum  又被成为动量…

第二个作业难度很高,但做(抄)完之后收获还是很大的.... 一.Fully-Connected Neural Nets 首先是对之前的神经网络的程序进行重构,目的是可以构建任意大小的全连接的neural network,这里用模块化的思想构建整个代码,具体思路如下: #前向传播 def layer_forward(x, w): """ Receive inputs x and weights w """ # 做前向计算 z = # 需要存储的中间…

preparation: solve the problem of `from builtins import rang` pip install future  update_rule…

解决方法: pip install future…

cs231n线性分类器学习笔记,非完全翻译,根据自己的学习情况总结出的内容: 线性分类 本节介绍线性分类器,该方法可以自然延伸到神经网络和卷积神经网络中,这类方法主要有两部分组成,一个是评分函数(score function):是原始数据和类别分值的映射,另一个是损失函数:它是用来衡量预测标签和真是标签的一致性程度.我们将这类问题转化为优化问题,通过修改参数来最小化损失函数. 首先定义一个评分函数,这个函数将输入样本映射为各个分类类别的得分,得分的高低代表该样本属于该类别可能性的高低.现在假设有…

本博客内容来自 Stanford University CS231N 2017 Lecture 2 - Image Classification 课程官网:http://cs231n.stanford.edu/syllabus.html 从课程官网可以查询到更详细的信息,查看视频需要FQ上YouTube,如果不能FQ或觉得比较麻烦,也可以从我给出的百度云链接中下载. 课程视频&讲义下载:http://pan.baidu.com/s/1gfu51KJ 问题背景 现在我有一张关于猫的图片,如何让计算…

CNN介绍 与之前的神经网络不同之处在于,CNN明确指定了输入就是图像,这允许我们将某些特征编码到CNN的结构中去,不仅易于实现,还能极大减少网络的参数. 一. 结构概述 与一般的神经网络不同,卷积神经网络尤其特殊之处.一般的神经网络每一层与前一层之间采用全连接:一层中的神经元之间也是互相独立的,并不共享权值:最后一层全连接层陈伟输出层,在分类任务中出表示类别得分.CIFAR-10中图像是32*32*3=3072,所以,与输入相连的第一个隐层的每个神经元的参数都有3072个,如果图像尺寸更大,那…

cs231n:线性svm与softmax 参数信息: 权重 W:(D,C) 训练集 X:(N,D),标签 y:(N,1) 偏置量bias b:(C,1) N:训练样本数:  D:样本Xi 的特征维度,Xi = [ Xi1,Xi2,...,XiD]: C:类别数量 正则化系数 λ :控制正则化的强度 delta / Δ : 间隔 linear svm: 对训练样本(Xi,yi),其对应每个类别的得分为: score = W*Xi+ b 是长度为C的矢量,以s表示 score, s = [s1, s…

本文使根据CS231n的讲义整理而成(http://cs231n.github.io/python-numpy-tutorial/),以下内容基于Python3. 1. 基本数据类型:可以用 print(type(x)) 查看类型 1)整数.浮点数: 幂:x**y等价于pow(x, y): 不支持 x++.x--,支持 x+=1: /是浮点除法,//是整除,3//2 = 1: %取余: 2)布尔: 与(and,&).或(or,|).非(not),不要使用&&.||之类的. 3)字符…