手写字体识别模型LeNet5诞生于1994年,是最早的卷积神经网络之一.原文地址为Gradient-Based Learning Applied to Document Recognition,感谢网络中各博主的讲解,尤其是该博客,帮助我的理解,感谢. Model详解 C1 6@28×28 S2 6@14×14 C3 16@10×10 S4 16@5×5 C5 120 F6  84 Output  10 Model概览 代码复现 下图就是我们很熟悉的LeNet-5的结构图,LeNet5由7层CN…

[论文标题]Convolutional neural network architecture for geometric matching (2017CVPR) [论文作者]Ignacio Rocco ,Relja Arandjelovi´,Josef Sivic [论文链接]Paper (15-pages // Double column) [Abstract] We address the problem of determining correspondences between two…

InceptionV1 论文原文:Going deeper with convolutions    中英文对照 InceptionBN 论文原文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift   中英文对照 InceptionV2/V3 论文原文:Rethinking the Inception Architecture for Computer Visi…

终于有了2个月的空闲时间,给自己消化沉淀,希望别有太多的杂事打扰.在很多课程中,我都学过卷积.池化.dropout等基本内容,但目前在脑海中还都是零散的概念,缺乏整体性框架,本系列博客就希望进行一定的归纳和梳理,谋求一个更清晰的思路. ## Outline 卷积 tensorflow-conv 池化 tensorflow-pooling 反向传播 梯度消散和梯度爆炸 ## Notes [卷积(Convolution)] 卷积的目的就是从原始数据中提取出特征,过程是利用卷积核(kernel)按照下…

在前文中,我们介绍了LeNet的相关细节,它是由两个卷积层.两个池化层以及两个全链接层组成.卷积都是5*5的模板,stride =1,池化为MAX.整体来说它有三大特点:局部感受野,权值共享和池化.2012年ALex发布了AlexNet,他比LeNet5更深,而且可以学习更复杂的图像高维特征.接下来,我们就将一起学习AlexNet模型. 论文原文: ImageNet Classification with Deep Convolutional Neural Networks 论文翻译:AlexN…

优化算法 1 GD/SGD/mini-batch GD GD:Gradient Descent,就是传统意义上的梯度下降,也叫batch GD. SGD:随机梯度下降.一次只随机选择一个样本进行训练和梯度更新. mini-batch GD:小批量梯度下降.GD训练的每次迭代一定是向着最优方向前进,但SGD和mini-batch GD不一定,可能会"震荡".把所有样本一次放进网络,占用太多内存,甚至内存容纳不下如此大的数据量,因此可以分批次训练.可见,SGD是mini-batch GD的…

本文为转载,作者:Microstrong0305 来源:CSDN 原文:https://blog.csdn.net/program_developer/article/details/80737724 1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象.在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高:但是在测试数据上损失函数比较大,预…

Exercise:Softmax Regression 习题的链接:Exercise:Softmax Regression softmaxCost.m function [cost, grad] = softmaxCost(theta, numClasses, inputSize, lambda, data, labels) % numClasses - the number of classes % inputSize - the size N of the input vector % la…

Exercise:Convolution and Pooling 习题链接:Exercise:Convolution and Pooling cnnExercise.m %% CS294A/CS294W Convolutional Neural Networks Exercise % Instructions % ------------ % % This file contains code that helps you get started on the % convolutional n…

Exercise:Learning color features with Sparse Autoencoders 习题链接:Exercise:Learning color features with Sparse Autoencoders sparseAutoencoderLinearCost.m function [cost,grad,features] = sparseAutoencoderLinearCost(theta, visibleSize, hiddenSize, ... lam…