deeplearning.ai 神经网络和深度学习 week3 浅层神经网络 听课笔记

1. 第i层网络 Z^[i] = W^[i]A^[i-1] + B^[i]，A^[i] = f^[i](Z^[i])。

其中， W^[i]形状是n^[i]*n^[i-1]，n^[i]是第i层神经元的数量；

A^[i-1]是第i-1层的神经元，形状是n^[i-1]*p，p是样本数量；

B^[i]形状是n^[i]*p，B^[i]的每一列都是一样的，所以其实有效的参数只是n^[i]个，python里直接用n^[i]*1的b^[i]然后boradcasting成n^[i]*p方便做加法。

A^[0]对应输入层，n^[0]是单个输入样本的特征数量。f^[i]()是第i层的激活函数。

Notation：a₄^[2](12)表示第2层，第12个样本，第4个神经元。

2. 永远不要用sigmoid函数， 唯一的例外是二元分类问题的输出层，因为这需要输出是0或1。

tanh(z) = (e^z-e^(-z))/(e^z+e^(-z)) 作为激活函数几乎总比sigmoid函数效果好，直观地说是因为tanh的中心店是0而不像sigmoid是0.5，于是对于下一层有中心化数据的作用。

tanh和sigmoid函数的共同缺点是当输入很大或者很小时，函数会饱和，梯度为0。

ReLU是现在的默认选择，f(z) = max(0, z)。ReLU的收敛速度比tanh和sigmoid都要快得多。Leaky ReLU ( max(0.01z, z) )的表现更好一点，但是不明显，所以还是ReLU用的更多。

3. 为什么激活函数是必须的？如果没有激活函数，系统就成了只对输入做线性运算，内部的隐含层一点用也没有，网络层数再多也没用，因为线性函数的组合也是线性函数。

4. sigmoid σ(z) = 1/(1+e^(-z))，σ'(z) = σ(z)(1-σ(z)).

tanh g(z) = (e^z-e^(-z))/(e^z+e^(-z)) ，g'(z) = 1-(g(z))^2.

ReLU g(z) = max(0, z)，g'(z) = {  0 ,   if z<0;

{  1,    if z>0;

{ undefined, if z = 0.   实际使用中可以把这个点的导数设为0或者1，都无所谓。

5. 训练神经网络时，随机初始化权重W非常重要，全部设为0的话会使得梯度下降法无效，b可以初始化为0。

w[i] = np.random.randn((n^[i]，n^[i-1]))*0.01.    乘以0.01是为了把它初始化成很小的随机数，因为对于tanh、sigmoid类似的函数，权重太大容易饱和。如果不用tanh、sigmoid，用ReLU，那么问题不大，但如果最终是个二分类问题，最后一个输出还是用了sigmoid，那么还会遇到这个问题。所以干脆全部初始化成很小的随机数吧。对于浅层神经网络，一般这种初始化方法就ok了。但对于很深的神经网络，有时候要挑选0.01以外的常数。

b[i] = np.zero((n^[i], 1))。

　但对于Logistic回归来说，并没有隐含层，所以是可以把W和b都初始化为0的。这样初始化的时候，第一次前向计算的输出确实是0，但是反向传播计算的梯度值是和输入相关的，所以不同的神经元会有不同的值，破坏了对称性，所以算法有效。

6. 神经网络算法的一般流程：

　　1）定义神经网络的结构：输入的大小，隐藏层层数，每层神经元的数量，等等。

　　2）初始化参数，W初始化为小随机数，b初始化为0。

　　3）循环：

　　　　a）前向传播，对于第[i]层网络，已知前一层传进来的输入A^[i-1]，和这一层的参数W^[i]、b^[i]，以及激活函数，计算出Z^[i]和A^[i]，并且把Z^[i]、A^[i]、W^[i]保存起来为反向传播的计算做准备。

　　　　b）计算loss。

　　　　c）反向传播得到梯度，对于第[i]层网络，已知后一层传来的输入dA^[i]，从cache中取出Z^[i]、A^[i]、W^[i]，计算出dW^[i]、db^[i]、dA^[i-1]。

　　　　d）更新参数。