3.1 神经网络概述（Neural Network Overview ）

（神经网络中，我们要反复计算a和z,最终得到最后的loss function）

3.2 神经网络的表示（Neural Network Representation)

3.3 计算一个神经网络的输出（Computing a Neural Network's output )

向量化计算：

详细过程见下: 公式 3.10：

（W---4x3）

3.4 多样本向量化（Vectorizing across multiple examples ）

所以横向矩阵A会扫过不同的训练样本，竖向是矩阵A中的不同指标。

3.5 向 量 化 实 现 的 解 释 (Justification for vectorized  implementation)

3.6 激活函数 (Activation functions)

  • tanh函数

  • 修正线性单元的函数（ReLu）(默认选项！)

  • 如果输出是 0、1 值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。

  • 这是很多激活函数的默认选择，如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数，但 Relu 的一个缺点是：当z是负值的时候，导数等于 0。

  • 这里也有另一个版本的 Relu 被称为 Leaky Relu。当z是负值时，这个函数的值不是等于 0，而是轻微的倾斜，如图。这个函数通常比 Relu 激活函数效果要好，尽管在实际中 Leaky ReLu 使用的并不多。

快速概括一下不同激活函数的过程和结论。