课程三(Structuring Machine Learning Projects)，第二周（ML strategy（2）） —— 1.Machine learning Flight simulator：Autonomous driving (case study)

【中文翻译】

为了帮助您练习机器学习的策略, 在本周我们将介绍另一个场景, 并询问您将如何行动。我们认为, 这个工作在一个机器学习项目的 "模拟器" 将给一个任务, 告诉你一个机器学习项目像什么！

你受雇于一自动驾驶汽车公司。您负责检测图像中的路标 (停车标志、行人过路标志、建筑前方标志) 和交通信号灯 (红色和绿色灯)。目标是识别这些对象中的哪一个出现在每个图像中。举例来说, 上述图则载有行人过路标志及红色交通灯。

您的10万标签图像是使用你的车的前置摄像头拍的。这也是你最关心的关于如何做好的数据的分布。你认为你可能能够从互联网上得到一个更大的数据集, 即使来自网络数据的分布不一样, 也会对培训有帮助。

你刚刚开始这个项目。你做的第一件事是什么，假设下面的每个步骤都需要花费相当的时间 (几天)？（B）

A、花几天时间检查一下这些任务的人类水平的表现, 这样您就可以准确估计出贝叶斯误差。

B、花几天的时间训练一个基本模型, 看看它会犯什么错误。

C、花几天时间用你的汽车前置摄像头收集更多的数据, 以更好地了解每单位的时间你可以收集多少数据。

D、花几天的时间获取互联网数据, 这样你就能更好地了解哪些数据是可用的。

 【解释】

model and carry out error analysis (see what mistakes it makes) it will help point you in more promising directions.

 

【中文翻译】

你的目标是检测路标 (停车标志, 行人过路标志, 建筑前方标志) 和交通信号 (红色和绿色灯) 的图像。目标是识别这些对象中的哪一个出现在每个图像中。您计划在隐藏层中使用具有 ReLU 单位的深层神经网络。

 

 对于输出层, softmax 的激活对于输出层是一个很好的选择, 因为这是一个多任务的学习问题。真/假？（B）

A、真

B、假

【解释】

1）Softmax 将是一个很好的选择, 如果一个和唯一的可能性 (停止标志, 速度颠簸, 行人过路, 绿灯和红灯) 是存在于每一个图像。

2）多任务学习（Multi-task learning）与softmax回归（Softmax regression）的主要区别在于，softmax将单个标签分配给单个样本，而多任务学习可能将多个标签分给单个样本。

如果输出ŷ是个4维向量：

（1）对于多任务学习，代价函数的计算方式为：

（2） 对于softmax回归，典型的损失计算 一般都会使用：

【解释】

Focus on images that the algorithm got wrong. Also, 500 is enough to give you a good initial sense of the error statistics. There’s probably no need to look at 10,000, which will take a long time.

              

【解释】

As seen in the lecture on multi-task learning, you can compute the cost such that it is not influenced by the fact that some entries haven’t been labeled.

【解释】

Yes. As seen in lecture, it is important that your dev and test set have the closest possible distribution to “real”-data. It is also important for the training set to contain enough “real”-data to avoid having a data-mismatch problem.

【解释】

The algorithm does better on the distribution of data it trained on. But you don’t know if it’s because it trained on that no distribution or if it really is easier. To get a better sense, measure human-level error separately on both distributions.

          

【解释】

Yes. You will probably not improve performance by more than 2.2% by solving the raindrops problem. If your dataset was infinitely big, 2.2% would be a perfect estimate of the improvement you can achieve by purchasing a specially designed windshield wiper that removes the raindrops.

是的。通过解决雨滴问题, 您可能不会提高超过2.2% 的性能。如果你的数据集是无限大, 你通过购买一个专门设计的挡风玻璃雨刷, 消除雨滴的方式来获取图片，2.2% 将是一个完美的估计。

  

【解释】

Yes. If the synthesized images look realistic, then the model will just see them as if you had added useful data to identify road signs and traffic signals in a foggy weather. I will very likely help.

是的。如果合成的图像看起来逼真, 那么模型就会看到它们, 就好像你添加了有用的数据，在大雾天气中来识别路标和交通信号。这很可能会帮忙。

对于 There is little risk of overfitting to the 1,000 pictures of fog so long as you are combing it with a much larger (>>1,000) of clean/non-foggy images.
这句是错误的，注意ittle表示否定含义，整个句子的意识是：只要你用更大的 (>> 1000) 的清楚的/没有雾的图像合成图片, 就不会有过拟合1000张有雾图片的风险，但其实是有风险的。

【解释】

Yes. You have trained your model on a huge dataset, and she has a small dataset. Although your labels are different, the parameters of your model have been trained to recognize many characteristics of road and traffic images which will be useful for her problem. This is a perfect case for transfer learning, she can start with a model with the same architecture as yours, change what is after the last hidden layer and initialize it with your trained parameters.

【解释】

Yes. The problem he is trying to solve is quite different from yours. The different dataset structures make it probably impossible to use transfer learning or multi-task learning.

     

【解释】

Yes. (A) is an end-to-end approach as it maps directly the input (x) to the output (y).

【解释】

Yes. In many fields, it has been observed that end-to-end learning works better in practice, but requires a large amount of data.