4.3核对矩阵维数 根据前向的矩阵,可以计算出右上的规律,对于第L层的w来说,其维数为(n[L],n[L-1]),n[L]表示第L层的单元数. 4.4为什么深层神经网络会好用? 如果要做一个人脸识别的系统:那么浅层的神经网络,进行特征识别或边缘探测,第一张图中的一个小方块就是一个神经单元?无法理解.比如说有个神经单元去找眼睛的部分,这样每个神经元就可以找脸部不同的部位,最后将这些部分放在一起. 边缘探测中针对的都是比较小的,而到面部识别会针对较大的区域.金字塔形状的NN. Ng讲到了在语音识别上…

第四周:深层神经网络(Deep Neural Networks) 4.1 深层神经网络(Deep L-layer neural network) 有一些函数,只有非常深的神经网络能学会,而更浅的模型则办不到. 对于给定的问题很难去提前预测到底需要多深的神经网络,所以先去尝试逻辑回归,尝试一层然后两层隐含层, 然后把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上 评估,或者用开发集来评估. 一些符号注意: 用 L 表示层数,上图5hidden layers :…

Week 4 Quiz - Key concepts on Deep Neural Networks(第四周 测验 – 深层神经网络) \1. What is the "cache" used for in our implementation of forward propagation and backward propagation?(在实现前向传播和反向传播中使用的"cache"是什么?) [ ]It is used to cache the interme…

1. 深层神经网络(Deep L-layer neural network ) 2. 前向传播和反向传播(Forward and backward propagation) 3. 总结 4. 深层网络中的前向传播(Forward propagation in a Deep Network) 向量化实现过程可以写成: 注:这里只能用一个显示for循环,l 从 1 到 L,然后一层接着一层去计算. 如何减少bug 4.1 核对矩阵的维数(Getting your matrix dimensions…

一.深层神经网络 深层神经网络的符号与浅层的不同,记录如下: 用\(L\)表示层数,该神经网络\(L=4\) \(n^{[l]}\)表示第\(l\)层的神经元的数量,例如\(n^{[1]}=n^{[2]}=5,n^{[3]}=3,n^{[4]}=1\) \(a^{[l]}\)表示第\(l\)层中的激活函数,\(a^{[l]}=g^{[l]}(z^{[l]})\) 二.前向和反向传播 1. 第\(l\)层的前向传播 输入为 \(a^{[l-1]}\) 输出为 \(a^{[l]}\), cache(…

觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.10 梯度消失和梯度爆炸 当训练神经网络,尤其是深度神经网络时,经常会出现的问题是梯度消失或者梯度爆炸,也就是说当你训练深度网络时,导数或坡度有时会变得非常大,或非常小,甚至以指数方式变小.这加大了训练的难度. 假设你正在训练一个很深的神经网络,并且将其权重命名为"W[1],W[2],W[3],W[4]......W[L]" 为了简化说明,我们选择激活函数为g(z)=z(线性激活函数),b[l]=0(即忽略偏置对神经网络的影响…

深层神经网络简称为深度学习有两个非常重要的特性1. 多层2. 非线性 线性模型的局限性 :例如前面的神经网络有两层(不算输入层),但是它和单层的神经网络井没有区别,任意线性模型的组合仍然还是线性模型,然而线性模型能够解决的问题是有限的 下面用TensorFlow Playground来演示 线性模型的局限性 还是以判断零件是否合格为例,输入为 X1 和巧,其中 X1 代表一个零件质量和平均质量 的差, X2代表一个零件长度和平均长度的差. 假设一个零件的质量及长度离平均质量及长度越近,那么这个零…

TensorFlow基础见前博客 上实例: MNIST 数据集介绍 MNIST 是一个手写阿拉伯数字的数据集. 其中包含有 60000 个已经标注了的训练集,还有 10000 个用于测试的测试集. 本次实验的任务就是通过手写数字的图片,识别出具体写的是 0-9 之中的哪个数字.   理论知识回顾 一个两层的深层神经网络结构如下: 上图所示的是一个具有两层隐藏层的深层神经网络 第一个隐藏层有 4 个节点,对应的激活函数为 ReLu 函数 第一个隐藏层有 2 个节点,对应的激活函数也是 Relu 函…

1.mini-batch梯度下降 在前面学习向量化时,知道了可以将训练样本横向堆叠,形成一个输入矩阵和对应的输出矩阵: 当数据量不是太大时,这样做当然会充分利用向量化的优点,一次训练中就可以将所有训练样本涵盖,速度也会较快.但当数据量急剧增大,达到百万甚至更大的数量级时,组成的矩阵将极其庞大,直接对这么大的的数据作梯度下降,可想而知速度是快不起来的.故这里将训练样本分割成较小的训练子集,子集就叫mini-batch.例如:训练样本数量m=500万,设置mini-batch=1000,则可以将训练…

1 深度L层神经网络( Deep L-layer Neural network ) 针对具体问题很难判断需要几层的网络,所以先试试逻辑回归是比较合理的做法,然后再试试单隐层,把隐层数量当作一个超参数,在验证集上进行评估. 对于深层神经网络,只是在单隐层的基础上拓展多几层,符号约定也类似.(深层没有官方的定义,一般三层或三层以上就可以认为是深层,这是相对单隐层的两层而言的,深浅是成程度上的相对) 这里重新声明下,L表示层数,$n^{[0]}$代表输入层单元数(也写作$n_x$代表特征数),$n^{…