Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习（Week 1. 深度学习概论）

 =================第1周 循环序列模型===============

===1.1 欢迎来到深度学习工程师微专业===

　　我希望可以培养成千上万的人使用人工智能，去解决真实世界的实际问题，创造一个人工智能驱动的社会。

===1.2 什么是神经网络===

　　实际上隐藏节点可能并没有左图那样明确的定义，你让神经网络自己决定这个节点是什么，我们只给你四个输入特征 随便你怎么计算。注意，当我们计算层数的时候，不计算输出层。

===1.3 用神经网络进行监督学习===

　　And then, for more complex applications, like autonomous driving, where you have an image, that might suggest more of a CNN structure, and radar info which is something quite different. You might end up with a more custom, or some more complex, hybrid neural network architecture.

　　结构化数据 意味着每个特征比如说房屋大小、卧房数量等都有着清晰的定义。相反 非结构化数据指的是比如音频、原始音频、图像，where you might want to recognize what's in the image or text.这里的特征 可能是图像中的像素值，or the individual words in a piece of text. 从历史角度看，计算机更难理解非结构化数据。和之前相比，神经网络是计算机可以更好理解这些数据。But it turns out that a lot of short term economic value that NN are creating has also been on structured data, such as much better advertising systems, much better profit recommendations, and just a much better ability to process the giant databases that many companies have to make accurate predictions from them. 在这门课中 我们会学到很多技巧，对于两类数据都适用。

　　神经网络改变了监督学习，正在创造巨大的经济价值。其实呢 基本的神经网络背后的技术理念大部分都不是新概念 有些甚至有几十年历史了。那么 为什么它们现在才流行，下节见。

===1.4 为什么深度学习会兴起===

　　过去20年，很多应用中我们收集到了大量的数据，远超过传统学习算法能发挥作用的规模。要达到下图中的黑点，至少要亮点，to train a big enough neural network， take advantage of the huge amount of data。提升规模（data and NN）已经让我们在深度学习的世界中获得了大量进展。训练集较小时，各种算法的性能相对排名不是很确定，效果经常会取决于你手工设计的组件。If someone training an SVM，可能是因为手工设计组件很厉害，有些人训练的规模会大一些却没有SVM效果好。对于小训练集，最终的性能 更多取决于手工设计组件的技能以及算法处理方面的一些细节。在数据量足够大时，我们才看到NN稳定地优于其他算法。

　　有趣的是 许多算法方面的创新都为了让神经网络运行得更快。举个例子，神经网络方面的一个巨大突破是从sigmoid函数转换到ReLU函数，前者会遇到梯度消失，导致学习得非常慢。还有很多其他算法创新的例子，所带来的影响是是增加计算速度，使得代码运行得更快，这也使得我们 能够训练规模更大的神经网络，或者在合理的时间内完成计算，即使在数据量很大 网络也很大的场合。The other reason that fast computation is important is that it turns out the process of training your network 很多时候是凭直觉的，有了一个idea就去试，因此加快这样的迭代过程是很重要的，能更快地改进你d的想法。

===1.5 关于这门课===

　　希望你去完成对应的课堂测试和编程练习，那会很过瘾。

===1.6 课程资源===

　　可以去coursera，里面的论坛是一个很好的互相交流学习平台。