deeplearning.ai 人工智能行业大师访谈 Yoshua Bengio 听课笔记

1. 如何走上人工智能的研究的？Bengio说他小时候读了很多科幻小说，1985年（64年出生，21岁）研究生阶段开始阅读神经网络方面的论文，对这个领域产生了热情。

2. 如何看深度学习这些年的发展？Bengio说他们从实验、直觉入手，然后才提出理论，比如为什么反向传播有效，为什么深度这么重要。2000年开始研究深度神经网络的时候，他们只是很直觉的认为神经网络更深才会更强大，并不清楚怎么论证，最初的实验也没有成功。

3. 和30年前相比，有哪些东西是很重要的，它们后来被证明是以正确的，又有哪些最终被证明是错误的？Bengio说他犯过最大的错误是认为反向传播需要光滑的非线性激活函数，2010年前后他们开始尝试ReLU时，结果比sigmoid好很多，这让他很惊讶。

4. 哪项研究让他最自豪？1）长期依赖(Long term dependency)的研究。2）维数灾难(curse of dimensionality)。3）神经网络的联合分布。4）深度学习在自动编码器和RBMs上的应用。5）更好地理解初始化对于训练深度网络的重要性，包括梯度消失的问题，这个研究最终论证了分段线性激活函数的重要性。6）无监督学习中，降噪自动编码，GAN等很流行的生成式对抗网络。7）机器翻译里的注意力机制(Attention)，原先只是把机器学习看作向量和向量之间的映射，借助注意力机制，可以处理任意形式的数据结构。

5. 无监督学习：现在业内的系统都是基于监督学习，这需要人们先定义出当前问题的一些重要概念，并在数据集中标记出来。但人类可以做更多的事情，可以探索世界，可以通过观察发现新的概念。这不是简单地在数据集做不做标记的问题，而是如何构建一个心智结构可以通过观察解释世界。Bengio说他还在研究如何把无监督学习和增强学习结合起来，希望能解释人类或机器如何通过与世界互动来学习。

6. Bengio觉得现在的深度学习研究已经远离了他希望的方向。机器对于世界的认知还很表面化。最让他兴奋的是，他现在的研究不是要让系统实现什么有用的功能，而是回归最本质的原理，如何让计算机观察这个世界，如何与世界互动，如何发现世界是如何运行的。现在的深度学习主要实现的是感知（perception），下面的方向是在抽象层面明白事物的原理，或者说如何让机器理解高级别的抽象概念，或者说认知。

7. 从研究方法的角度说，Bengio更喜欢研究“玩具问题(toy problems)”，这可以很快速的做实验看结果，同时它的结果是可以迁移到更大的问题上去。Bengio说这相当于是分而治之（divide and conquer）的研究方法。

8. 深度学习不仅仅是一门工程学科，而是需要去了解真正的原理。Bengio说现在的研究方式有点像盲人走路，碰运气发现了一些不错的结果。如果能稍微停一停脚步，想一想如何迁移结论。并不一定都需要数学抽象，但至少要逻辑化的。然后再用数学来精炼。研究的目的不要总想着做一个baseline、bench mark，打败其他实验室、公司之类的，更多的是要思考提出哪些问题可以帮助我们理解我们感兴趣的现象。所以我们设计实验，可以不为了获得更好的算法，而是为了更好的理解现有的算法。“为什么”是非常重要的。

9. 给深度学习学生的建议：每个人目的不同，做研究和做应用所需的对深度学习的理解是不同的，但不管哪种情况都需要实践。需要大量阅读，阅读大量代码，也需要大量动手编程。不要只满足于调用现成框架的接口，如果可以的话，尽量从基本原理入手获取认识。真正理解自己在做的每一件事情。Bengio推荐度ICLR的proceeding，NIPS、ICML和其他一些会议当然也有很好的论文，但还是从最近几年的ICLR的proceeding入手最好。不要被数学吓到，只需要锻炼直觉，一旦形成直觉，数学上也就很容易理解。有良好的数学和计算机背景，上手深度学习非常快。