深度学习（二）BP求解过程和梯度下降

一、原理

重点：明白偏导数含义，是该函数在该点的切线，就是变化率，一定要理解变化率。

1）什么是梯度

梯度本意是一个向量（矢量），当某一函数在某点处沿着该方向的方向导数取得该点处的最大值，即函数在该点处沿方向变化最快，变化率最大（为该梯度的模）。

2）代价函数有哪些

0-1损失函数(0-1 loss function):

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

平方损失函数(quadratic loss function)

L(Y,f(X))=(Y−f(X))2

绝对损失函数(absolute loss function)

L(Y,f(X))=|Y−f(X)|

对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likelihood loss function)

L(Y,P(Y|X))=−logP(Y|X)

3）为什么需要代价函数(损失函数)

a: 学自动化的时候，我们要求系统是收敛的，稳定的。对于模型，输入x，产生的输出y，希望能最接近期望的Y，如果y不能等于Y时，我们希望知道模型离期望的Y有多远，所以我们需要定义一个cost function以衡量模型的好坏。既然是付出代价，我们希望付出的代价最小，因为输入的x是逐步添加的，我们不可能一步到位，那么选择下降最快的方向，尽快达到最低，使得系统稳定。这就是我们需要梯度的原因。(更新权值即为更新这个函数的斜率(切线的斜率,该函数的变化快慢),在这个代价函数中,这个是以权值为参数的函数,我们要做的就是找到最小误差时,权值为多少)

梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快；

b: 假如你现在有一个凸目标函数J（x）如下图,你想要求它的最小值。

假如你是在左边那个点上面（画出了切线和函数相交的那个点），你要往最小值的那个地方跑，你肯定不能够往上面跑对吧。要是你高中学过物理的话，你就会知道，你必须完全把速度用到切线的方向上面你才能够最快的到最小值。为什么呢？因为要是你的速度在其他的方向，最后算是你往下的速度只是你一开始速度的一个分量。那么肯定就没有那么大的速度往最小值走了对吧。

我们又知道，在一个点的切线方向就是导数的方向。你从上面的图来看的话，在最小值点处的导数是0，然后最小值左边的导数都小于0，最小值右边的导数都大于0.（这里别问我为什么）。

对于左边那个点的横坐标，是应该加上该点导数的值还是应该减去该点导数的值才能够往最小值的横坐标移动呢？如果x值要往右边移动，需要加上一个正的数，又因为这里的导数是小于0的，那么就需要减去导数值。最终对于左边这个点来说是要减去导数的值才能够向最小值移动。

对于右边那个点，想去最小值那么x需要往左边移动，因为该点的导数是大于0的，那么往左边移动需要减去导数的值。那么还是需要减去导数的值。

个人总结:

在我们确定了输入了以后,这个代价函数就是以权值为参数的一个函数,我们要做的就是去寻找最小的误差点,求最小就是要去找权值点,因为这是一个以权值为参数的函数,求导,导数的含义就是变化率,当我们求出导数的值为正数时,则说明这是这是一个上升的点,上升说明了这个函数的误差率在变大,我们要往其反方向走(我们以增大的方向为正方向),怎么走,这个时候就要去找方向了,找哪个方向更快的下降,答案是切线的方向(如有不懂的地方,可以百度).当导数为负数时,则相反!

所以存在这样的式子:

这个方向是个矢量,表示朝哪个方向走,而n（导数前面那个符号）表示步长，表示我朝这个方向走多长（步长由我们用户自定义）。

二求解过程

发现是不是都是关于E对w的求导。符号第一点的要求。

定义变量&4和&8

观察上图，我们发现权重wji仅能通过影响节点j的输入值影响网络的其它部分（前面只能影响后面），设netj是节点j的加权输入。

即

 

链式求导

 

1）输出层权值训练

有：

 

 分别求解：

 

 则：

有：

得到输出层的方程

 

 

2）隐藏层权值训练

 

隐含层： 

3）结论：

当输出层时：

 当隐含层时：