deeplearning.ai 人工智能行业大师访谈 Pieter Abbeel 听课笔记

1. Pieter Abbeel小时候想做一个篮球运动员 - -！上学的时候喜欢数学和物理，上大学之后很自然的学工程。Pieter定义工程问题是“解决实际中应用物理和数学的问题”。pieter电子工程系毕业的时候不知道该干嘛，因为所有的工程学科都很有趣。最后选择AI是因为他感觉AI是一切东西的核心，可以帮助所有学科。

2. Pieter Abbeel主要的贡献是在深度增强学习。在此之前，他研究了很多增强学习。他觉得传统增强学习的问题在于不但需要机器学习的知识，还需要特定领域的知识。2012年AlexNet给他很大启发，AlexNet的工程量很小，可能可以用类似的深度学习的方法来处理增强学习的问题。Pieter认为增强学习的乐趣在于某种程度上比监督学习有更多的问题，在监督学习中大家考虑的是输入和输出之间的映射关系，而在增强学习中关注的是数据从何而来。完全依赖系统自己去找数据是很危险的，比如自动驾驶，不可能放任系统去找负面的例子，否则会创造事故。增强学习最核心的问题在于如何represent数据。他觉得增强学习最大的挑战在于如何让系统在长时间线上保持推理能力。

3. Pieter Abbeel回忆自己在斯坦福读博士和Andrew NG共事，他觉得NG给他最有影响的一个建议是：不该去检验你研究里的度量是否正确，而是去看你做的事情和它影响的东西之间的联系，或者说你的研究实际改变了什么，而不是研究里具体的数学。

4. NG问Pieter给AI初学者的建议。Pieter说现在是进入AI的好时机，因为人才需求量太大了。网上课堂是很好的学习途径，包括NG的课、cs231n、伯克利的课。最重要的是，要自己真正着手去做，不能只是看视频。NG问是去读博士还是去大公司工作。Pieter说取决于能得到的指导，学校和公司都有很好的指导的人。但最主要的还是自学。

5. 监督学习和增强学习的区别：监督学习像是一种对过去数据的模仿，增强学习是可以思考的更长远。