神经网络入门篇：详解向量化实现的解释（Justification for vectorized implementation）

向量化实现的解释

先对几个样本计算一下前向传播，看看有什么规律：

公式1.16：

\(z^{[1](1)} = W^{[1]}x^{(1)} + b^{[1]}\)

\(z^{[1](2)} = W^{[1]}x^{(2)} + b^{[1]}\)

\(z^{[1](3)} = W^{[1]}x^{(3)} + b^{[1]}\)

这里，为了描述的简便，先忽略掉 \(b^{[1]}\)后面将会看到利用Python 的广播机制，可以很容易的将\(b^{[1]}\) 加进来。

现在 \(W^{[1]}\) 是一个矩阵，\(x^{(1)},x^{(2)},x^{(3)}\)都是列向量，矩阵乘以列向量得到列向量，下面将它们用图形直观的表示出来:

公式1.17：

\[W^{[1]} x =
\left[
\begin{array}{ccc}
\cdots \\
\cdots \\
\cdots \\
\end{array}
\right]

\left[
\begin{array}{c}
\vdots &\vdots & \vdots & \vdots \\
x^{(1)} & x^{(2)} & x^{(3)} & \vdots\\
\vdots &\vdots & \vdots & \vdots \\
\end{array}
\right]
=
\left[
\begin{array}{c}
\vdots &\vdots & \vdots & \vdots \\
w^{(1)}x^{(1)} & w^{(1)}x^{(2)} & w^{(1)}x^{(3)} & \vdots\\
\vdots &\vdots & \vdots & \vdots \\
\end{array}
\right]
=\\
\left[
\begin{array}{c}
\vdots &\vdots & \vdots & \vdots \\
z^{[1](1)} & z^{[1](2)} & z^{[1](3)} & \vdots\\
\vdots &\vdots & \vdots & \vdots \\
\end{array}
\right]
=
Z^{[1]}
\]

当加入更多样本时，只需向矩阵\(X\)中加入更多列。

所以从这里也可以了解到，为什么之前对单个样本的计算要写成

\(z^{[1](i)} = W^{[1]}x^{(i)} + b^{[1]}\)

这种形式，因为当有不同的训练样本时，将它们堆到矩阵\(X\)的各列中，那么它们的输出也就会相应的堆叠到矩阵 \(Z^{[1]}\) 的各列中。现在就可以直接计算矩阵 \(Z^{[1]}\) 加上\(b^{[1]}\)，因为列向量 \(b^{[1]}\) 和矩阵 \(Z^{[1]}\)的列向量有着相同的尺寸，而Python的广播机制对于这种矩阵与向量直接相加的处理方式是，将向量与矩阵的每一列相加。

所以这一篇只是说明了为什么公式 \(Z^{[1]} =W^{[1]}X + \ b^{[1]}\)是前向传播的第一步计算的正确向量化实现，但事实证明，类似的分析可以发现，前向传播的其它步也可以使用非常相似的逻辑，即如果将输入按列向量横向堆叠进矩阵，那么通过公式计算之后，也能得到成列堆叠的输出。

最后，对近期两篇博客的内容做一个总结（另一篇博客地址：https://www.cnblogs.com/oten/p/17828716.html）:

由公式1.12、公式1.13、公式1.14、公式1.15可以看出，使用向量化的方法，可以不需要显示循环，而直接通过矩阵运算从\(X\)就可以计算出 \(A^{[1]}\)，实际上\(X\)可以记为 \(A^{[0]}\)，使用同样的方法就可以由神经网络中的每一层的输入 \(A^{[i-1]}\) 计算输出 \(A^{[i]}\)。其实这些方程有一定对称性，其中第一个方程也可以写成\(Z^{[1]} = W^{[1]}A^{[0]} + b^{[1]}\)，看这对方程，还有这对方程形式其实很类似，只不过这里所有指标加了1。所以这样就显示出神经网络的不同层次，知道大概每一步做的都是一样的，或者只不过同样的计算不断重复而已。这里有一个双层神经网络，随着网络的深度变大，基本上也还是重复这两步运算，只不过是比这里看到的重复次数更多。在更深层次的神经网络中，随着层数的加深，基本上也还是重复同样的运算。

以上就是对神经网络向量化实现的正确性的解释，到目前为止，仅使用sigmoid函数作为激活函数，但事实上这并非最好的选择，在下一篇博客中，将会继续深入的讲解如何使用更多不同种类的激活函数。