4. Neural Network

1. 神经网络

首先引入一些便于稍后讨论的新标记：

$L$：代表神经网络层数
$S_l$：代表第$l$层处理单元的个数
$K$：代表多分类中类别种数

2. 前向传播（forward propagation）

以上图为例：

令$\textbf{z}^{(2)} = \Theta^{(1)}\textbf{x}$，则$\textbf{a}^{(2)} = g(\textbf{z}^{(2)})$，计算后添加 $a_0^{(2)} = \textbf{I}$
令$\textbf{z}^{(3)} = \Theta^{(2)}\textbf{a}^{(2)}$, 则输出$h_{\Theta}(\textbf{x}) = \textbf{a}^{(3)} = g(\textbf{z}^{(3)})$

具体计算如下图：
$g(z)$：代表神经元激活函数
$a_i^{(l)}$：代表第$l$层第$i$个激活单元
$\Theta_{mn}^{(l)}$：代表第$l$层映射到第$l+1$层是权重矩阵，$m$是第$l+1$层激活单元数，$n$是第$l$层激活单元数+“偏置单元”

3. 反向传播（backpropagation propagation）

代价函数：