Coursera台大机器学习课程笔记15 -- Three Learning Principles

这节课是最后一节，讲的是做机器学习的三个原则。

第一个是Occan's razor，即越简单越好。接着解释了什么是简单的hypothesis，什么是简单的model。关于为什么越简单越好，林老师从大致思想

上进行了解释：如果一个简单的模型能对数据分得很好，那说明输入的资料是有规律的资料（这被称为资料具有显著性significant）；对于复杂的模型来说，不是资料怎么样，都可以分的较好，这样

的资料不具备显著性。那做机器学习的方向就是，先做简单的线性模型，不行再做其他的。

第二个是sampling bias。如果你的资料来自不同的分布，那么就可能产生问题。林老师举了他曾经的经历来说明这个问题。这并不是要求训练和测试的分布要完全一样，而是训练的数据环境要接

近于测试的环境。越接近，测试效果就会越好。

第三个是data snooping，偷看了数据（不是很好理解），相当于作弊。如果对于同一个数据集，不断在某个模型上进行改进，则也相当于偷看了数据。

改进方法之一是validation；不要由资料来设计模型；

最后power of three总结了机器学习基石课程的内容（有些已经忘记了，惭愧啊）。

后记：这个课程张于听完了，感觉收获还是很大的，有点知其然并知其所以然的意思了。这门课的理论水平很高，不适合入门，但却是机器学习的基石，以后肯定要经常拿出来复习。

准备暑假的时候学林老师的机器学习技法这门课，希望能有更大的收获。