《Andrew Ng深度学习》笔记2

神经网络基础

1.图计算

计算时有两种方法：正向传播和反向传播。正向传播是从底层到顶层的计算过程，逐步推出所求公式。反向传播是从顶层到底层，从已知的式子求出因变量的影响关系。

在这里用到的反向传播算法就是为了通过似然函数(成本函数)来确定要计算的参数。

在这里，logistic回归应用了反向传播，主要是为了方便梯度下降算法的计算，来逐次逼近w和b。通过图片看到，反向传播其实就是微积分里的“链式法则”。这块可能要补补微积分才能更深入学习。这里先跳过，反正是明白了logistic回归中的梯度下降应用了反向传播计算。

2.向量化

向量化的目的是加快计算速度。避免for之类的循环，消耗性能。在python中，使用np.function()函数实现向量化。

通过向量方式的形式表达，可以简化计算，比如使用Python中的numpy库，针对这些计算可以简化为1行代码，减少for之类的循环编写，简化计算。说到这里，很有必要深入学学python。

3.Python中numpy的应用

这里只是Python对向量化操作的一个例子，详细是在numpy库中，里面的函数主要是为了矩阵等计算，方便代码开发，加快速度。

Python中向量化的实质是，会把R变为向量化(SMID 并行多数据流)，主要是把变量变为广播形式。

在logistic回归中，上图左边是一般的计算流程，右边是经过向量化后的计算流程，很明显减少for循环，只要是用到了numpy库里的函数。

但是在实际中药用好numpy库的向量化，里面有一些坑。在行向量和列向量求和应该是出错的，但是在python的numpy库中会得到一个矩阵。所以在使用时要小心谨慎。