deeplearning.ai 神经网络和深度学习 week2 神经网络基础

1. Logistic回归是用于二分分类的算法。

对于m个样本的训练集，我们可能会习惯于使用for循环一个个处理，但在机器学习中，是把每一个样本写成一个列向量x，然后把m个列向量拼成一个矩阵X。这个矩阵是n_x*m大小，n_x是每个样本的特征数量，m是样本个数，X.shape=(n_x,m)。也可以把特征写成横向量然后竖着拼成m*n的矩阵，NG说前一种列向量的表示方便运算。输出Y是1*m的向量，Y.shape=(1,m)。

把样本表示成矩阵形式后，可以对它进行线性操作w^Tx+b，由于二分分类的标签为0或1，所以需要把线性变换的值变换到[0, 1]之间，即y_hat = σ(w^Tx+b)，这里σ(z)=1/(1+e^-z)就是sigmoid函数。

Loss (error) function描述了预测的输出y_hat和真实的标签y有多接近。误差平方是个很符合直觉的选择，但是不方便梯度下降法求解。在logistic回归中使用的loss funciton是L(y_hat, y) = -( ylog(y_hat) + (1-y)log(1-y_hat) ). 直观地说为什么这个loss function合理呢？如果y=1，L(y_hat ,y)=-ylog(y_hat)，L越小越好，所以y_hat越大越好，又因为输出在[0, 1]区间，所以y_hat会趋向于1；如果y=0, L=-log(1-y_hat), y_hat会趋向于0。更深层次的说，这里的loss function描述的是概率的log，而如果每个样本都是独立同分布的，则整体的概率是每个样本概率的累乘，取log之后就是累加。

Loss function描述了单个样本的损失，Cost function描述了在整个样本空间的损失，J(w, b)是所有样本的loss function的平均值。这种方式构造的cost funciton是凸函数，使得优化问题是一个凸优化问题。

Logistic回归可以被看作是非常小的神经网络。

2. 神经网络的计算过程分为前向传播和反向传播，前向传播是计算神经网络的输出，反向传播是计算对应的梯度。

可以用计算图把复杂计算过程拆分成简单计算的堆叠。

在Logistic回归的例子中，算法使用了2个嵌套的for循环，外层for循环遍历所有的样本，内层for循环遍历单个样本内所有的特征。这样做的缺点是for循环效率低，特别是当数据量越来越大的情况下。所以就要使用向量化技术摆脱for循环。

3. 向量化。为计算 z=w^Tx+b，w和x都是n*1的向量，python中 z=np.dot(w,x)+b 会比for循环快很多（NG随便跑了个例子就相差300倍的耗时）。这是因为这种内置的dot运算更好地利用了并行化计算SIMD(Single Instruction Multiple Data)。相比于CPU，GPU更擅长SIMD。所以只要有可能，就避免使用for循环。

4. python中的broadcasting机制：做加减乘除等运算的时候，自动会把标量，或者小矩阵，扩展成和大矩阵一样的大小，然后元素对元素的运算。这个机制有好有坏，好处是方便，坏处是易错。

一些建议：

　1）不推荐使用 a = np.random.randn(5)，得到的a是秩为1的数组，a.shape = (5, )，这种数组和行向量、列向量都不一样。

推荐使用 a = np.random.randn(5, 1)，这是指明a为列向量，a.shape = (5, 1)。

2）如果不确定矩阵的形状，可以用 assert( a.shape == (5, 1) )。

3）为保险都可以使用 a = a.reshape(5, 1)，reshape的计算很快，所以不用担心耗时。