【cs229-Lecture3】为什么要选择“最小二乘法”这个指标

视频地址：http://v.163.com/movie/2008/1/E/B/M6SGF6VB4_M6SGHM4EB.html

具体的推导过程，讲义上都有，已经很详细了。这里的推导过程大都是自己为了练习所书写，有些步骤也会稍微写的详细一些。

---

为什么要选择“最小二乘法”这个指标来表示J(θ)

第三集，拟合与过拟合的概念。视频中，先讲了一种非参数学习算法——局部加权算法。这个算法比较容易，说白了就是：距离越近，关系（贡献）越大。具体大到什么程度，可以根据需要选取不同的函数来量化，如高斯分布（正态分布），当然，这里还是会存在欠拟合与过拟合的问题。

后来就讲到了为什么要选择“最小二乘法”这个指标来表示J(θ)（成本函数，cost function），本文就主要对这进行推导，给出较视频中，更为详细的推导过程，方便日后温习。