[DeeplearningAI笔记]神经网络与深度学习人工智能行业大师访谈

觉得有用的话,欢迎一起讨论相互学习~Follow Me

吴恩达采访Geoffrey Hinton

NG:前几十年,你就已经发明了这么多神经网络和深度学习相关的概念,我其实很好奇,在这么多你发明的东西中,哪些你到现在为止依然保持有热情的.

Hinton:我认为我觉得最具学术之美的是受限Boltzmann机器,我们认为他能用很简单很简单的算法去应用到密度很高的连接起来的网络.

Hinton:我仍然认为无监督学习十分重要,当我们真正搞明白一些东西以后,结果会比现在好很多.不过目前并没有找到这种方法.

NG:嗯,深度学习里的高级研究人员包括我自己对此依然十分激动,因为我们没有一个人知道该怎么办.也许你知道,但是我不行了.

Hinton: 变分发改变代码是你会用到的更新参数化的地方,这想法看起来很不错,生成对抗网络也是很棒的想法,生成对抗网络我认为是目前深度学习中最新最重要的想法.我认为生成对抗网络目前是很大的突破.

NG: 你应该经常被问到,如果有人想要入门深度学习,该做什么.你有什么建议吗,之前应该也有很多一对一的情况,但对于全球范围都在看这个视频的观众,对于想要学习深度学习的人们,你有怎样的建议?

Hinton:

1. 好的,我的建议是多读论文,但是别读太多.我从导师那里得到这个建议的,很不像大多数人那样说的.大多数人会说你应该尽量多读,然后开始自己的研究.对一些研究人员应该是正确的,但是对于有创意的人应该少读一点最好能够发现原先的研究中的错误.你看着一个东西感觉不太对,然后思考怎样才能做对呢.当人们反对你时,你要坚持自我.我支持人们坚持自我的原则.如果你直觉不错的话,就应该去笃信自己的直觉,如果你直觉一般的话做什么都无所谓,一定要相信自己的直觉.
2. 另一个建议是,一定要坚持编程,因为如果你给学生布置任务,他们三天打鱼两天晒网.然后因为自己的一些原因最终任务就不会成功.但是如果是一个优秀的学生就不一样,他会思考你的题目,并且适当的做一些思考与改进,即使布置的问题有一些难度,他也能给出自己的好的答案.

吴恩达采访Pieter Abbeel

NG: 我知道在过去几年,你在深度增强学习方面贡献很大,现在情况如何?为什么深度增强学习一下子变得这么重要?

Pieter: 在我研究它之前,我研究了很多增强学习,2012年通过Hinton小组对ImageNet的研究结果突破,AlexNet证明监督学习,突然之间大大减少了工作量.让我开始思考运用类似观点,回顾增强学习.看我们能否用增强学习做与监督学习同样有趣的事情.

NG: 听起来你早于大多数人前,发现了深度监督学习的潜力,展望未来,你看到的下一件事是什么,你对下一阶段在深度增强学习中有什么预测?

Pieter: 我认为深度增强学习有趣之处在于,某种程度上比监督学习有更多的问题,在监督学习中,问题在于输入 输出 映射 .在增强学习中思考的问题就是,数据从何而来,这就是探索问题的本身.当你有数据的时候,你会如何做信用赋值,你怎样理解早期应该做什么.才能从中受益,以及安全问题.当你有自主收集数据的系统之后,在很多情况下是十分危险的,例如车辆自驾,我们只会用深度增强学习来运行车辆.听着就像是会在深度增强学习起作用之前发生很多事故.

深度增强学习还有许多问题,并且在具体的问题当中,还有许多问题.我个人觉得的是随着深度学习的研究深入,深度增强学习中的一些谜团也能够被解决.例如我们可以将问题总结成为一个模式,但是怎样分解模式仍然是增强学习中的一个很大的挑战.

我认为还有一个很大的挑战就是怎样保证系统长时间进行推理,腺癌很多深度增强学习的例子都是在短时间线上的,你如果在五秒中对整个问题有很好的表现但是对于一天就没有那么容易了.或者是让机器人或者某个软件主题保持一辈子的功能,我认为这里面有很多的挑战.并且在使机器自主工作的方面也有许多安全挑战.

NG: 对于一些正在想要入门AI的人来说,你有什么意见吗?

Pieter: 我认为现在是进入AI的大好时机,需求量是如此之高,工作机会是如此还多,有大量的研究课题,也有大量的研究机会,所以我很肯定决定入行是很机智的选择.你们中的大多数都能够自学.不管是不是在学校里有很多很多的机器学习的课程.例如英国有个16岁的男生,在网课上学习很多课程,但是没有经过正统的课程,却在Kaggle上有巨大的影响力.

吴恩达采访lan Goodfeloow

NG: 你是GANs的发明者,所以今天你仍然处于GANs研究的风暴中心,就是这个生成性对抗网络,可以告诉我怎么看GANs的未来吗?

lan: 现在GANs应用在很多场合里,比如半监督学习,生成其他模型的训练数据,甚至模拟科学实验.原则上,这些东西都可以用其他生成模型来做,所以我认为现在GANs现在正处于一个重要的十字路口.有时候他们的效果会很好,但是要想把它们的潜力真正发挥出来,更像是艺术,而不是科学.

10年以前人们也是这样认为深度学习的,当时我们使用的还是以玻尔兹曼机器为基础的深层信念网络,他们非常的挑剔.随着时间的推移,我们切换到了修正线性单元和批量归一化(BN算法).深度学习变得越来越可靠,如果我们可以把GANs变得和深度学习一样可靠,那么我们会看到GANs在浸提那得应用领域里面取得更大的成功.如果我们不弄清楚如何稳定GANs.那么我想它对深度学习领域的贡献就是它向人们展示了如何完成这些涉及到生成模型的全部任务,最终,我们将用其他形式的生成模型来代替它们.所以我用了大约40%的时间来稳定GANs.

NG: 今天有很多人想要进入AI领域,你对他们有什么好的建议吗?

lan: 我想很多人想进入AI领域,一开始想他们绝对需要获得博士学位或者这样那样的证书,我觉得实际上这已经不是必要条件了.其中一种获得注意的方式是:在Github上写很好的代码,如果你有一个很好玩的项目,解决了某人在前沿希望解决的问题.一旦他们找到了你的Github代码,他们会直接找到你,让你到他们那里去工作,我雇的很多人去年在OpenAI或者今年在谷歌招聘的人.我已开始就很想和他们合作,因为他们都在开源社区发表了一些代码段,写文章并且发表到arXiv上也是可以的.很多时候要将一个东西打磨完美,成为对科学文献的新贡献是很难的.但是在这之前你可能已经能开发出一个有用的软件产品了

很重要的方法是:如果你正在读<深度学习>这本教材,那么同时开始做一个项目是很重要的,总之要选择某种方式,将机器学习应用到你感兴趣的一个应用中去.其中很多数据集都已经设立好了,你可以直接使用.这样你就可以使用这些数据去实现教材中所涉及的知识点.