吴恩达《深度学习》-第三门课 结构化机器学习项目（Structuring Machine Learning Projects）-第一周 机器学习（ML）策略（1）（ML strategy（1））-课程笔记

第一周 机器学习（ML）策略（1）（ML strategy（1））

1.1 为什么是 ML 策略？（Why ML Strategy?）

希望在这门课程中，可以教给一些策略，一些分析机器学习问题的方法，可以指引朝着最有希望的方向前进。这门课中，我会分享我在搭建和部署大量深度学习产品时学到的经验和教训。比如说，很多大学深度学习课程很少提到这些策略。事实上，机器学习策略在深度学习的时代也在变化，因为现在对于深度学习算法来说能够做到的事情，比上一代机器学习算法大不一样。

1.2 正交化（Orthogonalization）

所以正交化的概念是指，可以想出一个维度，这个维度你想做的是控制转向角，还有另一个维度来控制你的速度，那么你就需要一个旋钮尽量只控制转向角，另一个旋钮，在这个开车的例子里其实是油门和刹车控制了你的速度。但如果你有一个控制旋钮将两者混在一 起，比如说这样一个控制装置同时影响你的转向角和速度，同时改变了两个性质，那么就很难令你的车子以想要的速度和角度前进。然而正交化之后，正交意味着互成 90 度。设计出 正交化的控制装置，最理想的情况是和你实际想控制的性质一致，这样你调整参数时就容易得多。可以单独调整转向角，还有你的油门和刹车，令车子以你想要的方式运动。

在机器学习中，如果你可以观察你的系统，然后说这一部分是错的，它在训练集上做的不好、在开发集上做的不好、它在测试集上做的不好，或者它在测试集上做的不错，但如果说成在现实世界中不好，这就不是很好，因为它不是正交。必须弄清楚到底是什么地方出问题了，然后我们刚好有对应的旋钮，或者一组对应的旋钮，刚好可以解决那个问题，那个限制了机器学习系统性能的问题。 可以快速诊断出系统性能瓶颈到底在哪。还有找到你可以用的一组特定的旋钮来调整你的系统，来改善它特定方面的性能。

1.3 单一数字评估指标（Single number evaluation metric）

查准率的定义是在你的分类器标记为猫的例子中，有多少真的是猫。

查全率就是，对于所有真猫的图片，你的分类器正确识别出了多少百分比。

使用查准率和查全率作为评估指标的时候，有个问题，如果分类器