Neural Networks and Deep Learning 笔记

1 Introduction to Deep Learning

介绍了神经网络的定义，有监督学习，分析了为什么深度学习会崛起

1.1 结构化数据/非结构化数据

结构化数据：有一个确切的数据库，有key-value索引

非结构化数据：音频、图像等。没有确定的结构

1.2 为什么深度学习会兴起

数据规模、算力提升、算法创新

2 Neural Networks Basics

如何把逻辑回归问题当作一个神经网络，如何使用python，如何向量化

2.1 二分类问题

标签0代表不是猫，标签1代表猫

图片信息展开。例如一个图像尺寸为64*64*3（尺寸，RGB），在当前处理时，需要将其展开为一个12288维向量使用。

2.2 逻辑回归

给定x，希望计算的\(\hat y\)为y=1的概率
\[
\hat y = p(y=1|x)
\]
sigmoid函数
\[
\sigma(z)=\frac{1}{1+e^{-z}}
\]
逻辑回归的输出
\[
\hat y=\sigma(w^Tx+b)
\]

2.3 损失函数和代价函数

loss function，损失函数是衡量算法在单个样本上的表现。

cost function，代价函数时衡量算法在所有训练样本上的表现。

逻辑回归的损失函数见式4和代价函数见式5。

loss function:
\[
L(\hat y,y)=-(ylog(\hat y)+(1-y)log(1-\hat y))
\]
cost function:
\[
J(w,b)=\frac{1}{m}\sum\limits_{i = 1}^m{L(\hat y^{(i)},y^{i})}=\frac{1}{m}\sum\limits_{i = 1}^m{-(ylog(\hat y)+(1-y)log(1-\hat y))}
\]

2.4 如何理解逻辑回归的损失函数

2.4.1 单个样本

已知一个样本(x, y)。模型的\(p(y|x)\)是当输入x时，输出y的概率。通俗讲就是预测正确的概率。因为逻辑回归只有0和1两种情况，所以这个概率公式为式6.
\[
p(y|x)=\hat y^y(1-\hat y)^{(1-y)}
\]
对于上面式子的解释：

当\(y=1\)时，\(1-y\)为0，任何数的0次方都为1，所以\(p(y|x)=\hat y。\)

当\(y=0\)时，\(p(x|y)=(1-\hat y)\)

我们希望能够最大化这个概率，由于log是单调递增函数，所以取log之后最大化，也是这个概率的最大化。加上负号就变成损失函数，最小化损失函数。

2.4.2 m个样本

假设m个样本都是相互独立的，那么对于m个样本都预测正确的概率就为单个样本相乘。
\[
p(所有样本预测正确)=\prod ^ m _{i=1} p(y^{(i)}|x^{(i)})
\]
取log之后，并将右边缩放就是m个样本的损失函数了。

2.5 梯度下降法

每个点计算其梯度，向负梯度方向移动，直到收敛。对于逻辑回归更新如式6和式7。
\[
w:=w-\alpha\frac{\partial J(w,b)}{\partial w}
\]

\[
b:=b-\alpha \frac{\partial J(w,b)}{\partial b}
\]

2.6 导数

回顾微积分基础

2.7 计算图

计算图如下图所示。在神经网络中，计算图中绿色表示了前向传播的过程，红色表示了反向传播的过程。使用计算图可以清楚的解释整个计算过程。

反向传播过程，可以认为是个链式求导过程。求导结果如下图。

2.8 梯度下降在逻辑回归中的应用

在逻辑回归中应用梯度下降方法的计算图如下。

整理为公式，推导很简单，自己推过。
\[
\frac{dL(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}
\]

\[
\frac{dL}{dz}=\frac{dL}{da}\cdot\frac{da}{dz}=a-y
\]

\[
\frac{dL}{dw_1}=\frac{dL}{dz}\cdot\frac{dz}{dw}=x_1\cdot{dz}
\]

\[
\frac{dL}{dw_2}=\frac{dL}{dz}\cdot\frac{dz}{dw}=x_2\cdot{dz}
\]

\[
\frac{dL}{db}=dz
\]

2.9 拥有m个样本的逻辑回归的梯度下降

注意将J、dw、db这些求和，并除以m

2.10 向量化

在拥有m个样本的计算中，可以将数据向量化，不进行显示的循环操作，加速程序速度。因为cpu/gpu可以并行化计算。

x变为一个\(n_x \times m\)的矩阵，z和\(\hat y\)变为Z和A会变为\(1 \times m\)的矩阵

前向传播公式：
\[
Z=w^TX+b
\]

\[
A=\sigma(Z)
\]

反向传播公式：
\[
J(w,b)=\frac{1}{m}\sum{-(YlogA+(1-Y)log(1-A))}
\]

\[
dZ=A-Y
\]

\[
dw=\frac{1}{m} \cdot X \cdot dZ^T
\]

\[
db=\frac{1}{m} \cdot \sum{dZ}
\]

\[
w:=w-a\cdot dw
\]

\[
b:=b-a \cdot db
\]

2.11 python中的广播

在对于元素的加减乘除中，会将小尺寸的矩阵复制为大尺寸，这里叫做广播。

如果两个矩阵的某个维度长度相符，或其中一方的轴长度为1，则会在上面进行广播。

3 Shallow neural networks

介绍什么是神经网络

3.1 神经网络的表示

输入层、隐藏层、输出层

L表示不包括输入层的层数，l表示第l层。输入层为第0层。

\(a^{[l]}\)表示第l层的输出a代表activation激活。

3.2 前向传播

\[
Z^{[l]}=W^{[l]}A^{[l]}+b^{[l]}
\]

\[
A^{[l]}=g(Z^{[l]})
\]

3.3 激活函数

3.3.1 定义

四种激活函数定义如下式。
\[
sigmoid:a=\frac{1}{1+e^{-z}}
\]

\[
tanh:a=\frac{e^z-e^{-z}}{e^z+e^{-z}}
\]

\[
Relu:a=max(0,z)
\]

\[
leaky Relu:a=max(0.01z,z)
\]

四种激活函数如下图。

3.3.2 导数

\[
sigmoid:g(z)'=a(1-a)
\]

\[
tanh:g(z)'=1-(tanh(z))^2
\]

\[
Relu:g(z)'=\left\{ {\begin{array}{*{20}{c}}
0&{z < 0}\\
1&{z \ge 0}
\end{array}} \right.
\]

\[
leaky\ Relu:g(z)'=\left\{ {\begin{array}{*{20}{c}}
0.01&{z < 0}\\
1&{z \ge 0}
\end{array}} \right.
\]

备注：对于relu和leaky relu，在0处的导数未定义，实际使用中归为大于0的情况。

3.3.3 讨论

关于这些函数的结论：

sigmoid：输出层是一个二分类问题时用，其余场合不用

tanh：几乎是和所有场合，因为它可以将输出的平均值大约为0

Relu：最常用的默认函数。相对于sigmoid和tanh，不会出现当数值过大或过小时，梯度很小。

3.3.4为什么使用非线性激活函数

因为使用线性激活函数，那么多层网络可以被简化为一个线性变换。

3.4 神经网络的梯度下降

浅层神经网路进行二分类时的推导。略过了，直接看后面深层的推导吧。

3.5 随机初始化

神经网络权重初始化为0，会造成每一层的每个neuron对应上一层每个元素的权重都相同。既图中W[1]每一行相同，但是每一行的元素并不是相同的。

每行都相同会造成每一层每个neuron的输出都相桶。会造成对称性问题

然而对于逻辑回归，由于只有一个神经元，所以没有这个问题。相当于只有W的其中一行，一行每个元素不是相同的。所以没有问题。

这里我觉得吴恩达老师在第二部分的初始化练习题中给的例子不好。给我造成了一个随机初始化为0将不更新参数的错觉。题目使用了特殊的训练数据造成的，实际上还是会更新参数，但是没法打破对称性问题。具体解释如下。

在这个题目中，神经网络无论怎么更新，参数都为0。由于实验的数据十分特殊，训练集中label=0和lable=1的个数相同，造成在反向传播时计算\(dW^{[3]}=\frac{1}{m}dZ^{[3]}A^{[2]T}=[0]\)。其中\(dZ^{[3]}\)拥有n个正数和n个负数，而且相同。而\(A^{[2]}\)全等于0.5。所以计算出dW全等于0，接下来的更新都等于0。如果数据集不特殊，还是可以更新的，但是就和第一段描述的情况相同了。（最开始还以为relu激活函数造成的，实际并不是）

而对于逻辑回归，不会出现全相同的\(A^{[2]}\)，\(A^{[2]}\)将会是X，X不可能全相同，所以全部初始化为0在特殊情况也不会有影响。

4 Deep Neural Networks

4.1 深层神经网络

就是比浅层神经网络有更多的隐藏层。有一些函数，只有非常深的神经网络能学会。

符号定义：L表示层数，\(n^{[l]}\)表示第l层的节点个数，\(a^{[l]}\)表示l层激活后的结果。

符号含义可以看官方的pdf

4.2 前向传播

向量化之后的式子，这里还需要一个显示的循环，从第一层到第L层
\[
Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}
\]

\[
A^{[l]}=g^{[l]}(Z^{[l]})
\]

前向传播会缓存一些内容：Z、

这里元素的维度需要注意，其中
\[
W^{[l]}、dW^{[l]} : n^{[l]} \times n^{[l]}
\]

\[
b^{[l]}、db^{[l]}:n^{[l]}\times 1
\]

\[
Z^{[l]}、A^{[l]}:n^{[l]}\times m
\]

4.3 反向传播

向量化之后的例子，和前向一样，需要一个显示的循环。而且需要用到前向传播缓存的内容。
\[
dZ^{[l]}=dA^{[l]}*g^{[l]}{'}(Z^{[l]})
\]

\[
dW^{[l]}=\frac{1}{m}dZ^{[l]}A^{[l-1]T}
\]

\[
db^{[l]}=\frac{1}{m}np.sum(dZ^{[l]}, axis = 1, keepdims=True)
\]

\[
dA^{[l-1]}=W^{[l]T}dZ^{[l]}
\]

4.4 为什么使用深层表示

4.4.1 深层网络在计算什么

靠前层的在计算简单的内容，靠后的层计算复杂的内容。

4.4.2 为什么用深层网络

在某些情况下，例如x1-xn的异或运算。如果使用深层网络，节点数只有logn。如果使用浅层网络，需要\(2^{n-1}\)个节点。

吴恩达在这里说深度学习其实应该叫多隐层神经网络，名字被炒作了。

4.5 搭建神经网络块

其中的箭头，蓝色的为正向传播，红色的为反向传播，绿色的表示一个训练过程。

4.6 参数和超参数

后面有更仔细的讲解。这里说明一个领域对超参数的直觉不一定适合其他领域。

4.7 神经网络和大脑的关系

神经网络只是一个过度简化的神经元。现在并不能解释清楚一个神经元。这么类比不妥。