梯度下降算法的一点认识（Ng第一课）

昨天开始看Ng教授的机器学习课，发现果然是不错的课程，一口气看到第二课。

第一课

没有什么新知识，就是机器学习的概况吧。

第二课

出现了一些听不太懂的概念。其实这堂课主要就讲了一个算法，梯度下降算法。到了教授推导公式的时候感觉有点蒙，不过后来仔细想想，也大概理解了，这个算法并没有想象的晦涩。在这堂课中，梯度下降算法是为了解决线性回归问题的。视频中的例子是给你一堆训练数据，（房子面积和对应房价），如果此时给你一个没有出现过的房子面积数据，您能否给出正确的房价？解决思路是首先要看出来房子面积跟房价之间的关系是线性的，属于线性回归问题，这时候需要我们去拟合出一条近似的曲线来描述二者之间的关系。然后我们要知道线性回归问题可以用梯度下降算法来解决，那么接下来就顺其自然的用梯度下降来编程就好了。那梯度下降的原理是怎样的呢？把问题简化到二维空间，其实你要做的工作就是找到一条合适的线段将空间中的所有训练数据串起来，像串糖葫芦一样，让尽可能多的数据经过这条线段。怎样用数学的方式去描述一条线段呢？当然是去找它的斜率了，而二维空间中梯度就是斜率，所以梯度下降算法的原理就是去计算这条经过所有训练数据的线段的斜率。进而就可以得到房价与房子面积之间的关系。凡是数据之间有明显线性关系的都可以用这种方法来做。Ng教授还提到，对于小数据可以用最原始的梯度下降算法，大数据来讲，可以用改进的随机梯度下降算法来提高效率。