深度学习国外课程资料(Deep Learning for Self-Driving Cars)+(Deep Reinforcement Learning and Control )

MIT(Deep Learning for Self-Driving Cars) CMU(Deep Reinforcement Learning and Control )

参考网址：

1 Deep Learning for Self-Driving Cars  --  6.S094

http://selfdrivingcars.mit.edu/

2 Deep Reinforcement Learning and Control  --  10703

https://katefvision.github.io/

Deep Learning for Self-Driving Cars ALL

课程视频和PPT：http://url.cn/45DIOnZ

开始学习机器人-知乎专栏-Top

MIT最新课程 ——九小时速成深度学习&自动驾驶汽车

CMU深度增强学习&控制

下面为机器翻译结果，请参考源链接地址。

----

6.S094：自驾车的深度学习

跳到内容

• 家
• DeepTesla
• DeepTraffic
• 排行榜
• 资源
• 登录
• 寄存器
• 查看资料

本课程通过建立自动驾驶汽车的应用主题，介绍深度学习的实践。它对初学者开放，是为那些刚接触机器学习的人设计的，但它也可以帮助现场的高级研究人员寻找深度学习方法及其应用的实用概述。

对班级感兴趣吗？这里有一些你可以做的事情：

1. 在网站上注册一个帐户以保持最新。课程的材料是免费的，向公众开放。
2. 按照DeepTraffic和DeepTesla教程，签出DeepTraffic排行榜。
3. 为DeepTraffic游戏和DeepTesla模拟模拟设计和评估神经网络。
4. 观看下面的讲座和客座讲座。

课程资料：

• 首次提供： 2017年冬季
• 教练： Lex Fridman
• 联系人： deepcars@mit.edu

Lex Fridman

讲师

Benedikt Jenik

TA

威廉·安吉尔

TA

斯潘塞·多德

TA

丹布朗

TA

讲座幻灯片和视频：

* 标记为红色的材料表示尚未激活但即将发生的链接。

• 讲座1：深度学习和自驾车介绍
  [ 幻灯片 ] - [ 演讲视频 ]
• 讲座2：运动计划的深层加固学习
  [ 幻灯片 ] - [ 演讲视频 ]
• 讲座3：驾驶任务的端到端学习的卷积神经网络 
  [ 幻灯片 ] - [ 演讲视频 ]
• 讲座4：通过时间转向的循环神经网络 
  [ 幻灯片 ] - [ 演讲视频 ]
• 讲座5：以人为中心的半自主车辆的深度学习 
  [ 幻灯片 ] - [ 讲座视频 ]

客人说话：

从研究到现实：在公共道路上测试自驾车

Karl Iagnemma

麻省理工学院首席执行官，神经科学和研究科学家

自驾车，SLAM和深度学习

约翰·莱昂纳德

麻省理工学院教授

AI年龄的技术，政策和车辆安全

克里斯·加德斯

斯坦福大学教授

运动规划在复杂世界中的过去，现在和未来

Sertac Karaman

麻省理工学院教授

我们只采用我们的信任：政策和自主业务

埃里克戴姆勒

白宫总统创新研究员，科学技术政策办公室

十分感谢

本课程的支持由MIT-SUTD和丰田集体行动解决安全研究和教育计划的良好人士提供。比赛的奖品由我们的朋友和Udacity的自驾驾驶汽车工程师提供。如果没有麻省理工学院及其以外的聪明年轻人的伟大社区，也不可能有这样的机会。

----

深加固学习和控制 
2017年春季，CMU 10703

讲师： Katerina Fragkiadaki，Ruslan Satakhutdinov
讲座： MW，3：00-4：20pm，Gates和Hillman中心4401 
办公时间：

• 卡特琳娜：星期四1.30-2.30pm在8015盖茨和希尔曼中心
• Russ：Friday 1.15-2.15pm，8017年Gates和Hillman中心

教学助理：

• Devin Schwab：星期三2-3pm，NSH 4225
• 李春良：周一1-2pm，GHC 8F开放学习区
• Renato Negrinho：Wednesday 5-6pm，GHC 8213

通讯：广场是用于所有未来的公告，关于课程的一般问题，关于作业的澄清，学生问题彼此，关于材料的讨论，等等。我们强烈鼓励所有学生通过广场（链接）参与讨论，问问和回答问题。

• 类目标
• 时间表
• 资源
• 作业和评分
• 先决条件

类目标

• 实施和实验现有的算法，用于学习控制策略指导强化，专家示范或自我试验。
• 评估这些算法的样本复杂性，一般化和一般性。
• 能够理解机器人学习领域的研究论文。
• 试试你自己的一些想法/扩展。特别重视整合来自视觉或触觉感知的真实感觉信号，并探索从模拟学习与从真实体验学习之间的协同作用。

时间表

下面的时间表是暂定的，它将根据时间的限制和人们在课堂上的兴趣不断改变。阅读材料和讲义笔记将作为讲座进展添加。

日期	主题（幻灯片）	讲师	阅读
1/18	介绍	卡特琳娜	[1]
1/23	马尔科夫决策过程（MDP），POMDP	卡特琳娜	[SB，Ch 3]
1/25	解决已知的MDP：动态规划	卡特琳娜	[SB，Ch 4]
1/30	蒙特卡罗学习：价值函数（VF）估计和优化	Russ	[SB，Ch 5]
2/1	时间差分学习：VF估计和优化，Q学习，SARSA	Russ	[SB，Ch 8]
2/2	OpenAI健身房	德文
2/6	规划与学习：Dyna，蒙特卡罗树搜索	卡特琳娜	[SB，Ch 8; 2]
2/8	VF近似，具有VF近似的MC，TD，具有VF近似的控制	Russ	[SB，Ch 9]
2/13	VF近似，深度学习，Convnets，反向传播	Russ	[GBC，Ch 6]
2/15	深度学习，Convnets，优化技巧	Russ	[GBC，第9章]
2/20	深Q学习：双Q学习，重放记忆	Russ
2/22	策略梯度（1）：REINFORCE，梯度估计的方差减少，演员 - 批评	Russ	[GBC，第13章]
2/27	政策梯度（2），自然政策梯度，深层演员 - 评论家，TRPO	Russ
3/1	仔细看看连续操作，变量自动编码器，多模态随机策略	Russ
3/6	勘探	卡特琳娜	[3,4]
3/8	模仿1	卡特琳娜	[5,6]
3/20	模仿2	卡特琳娜

资源

阅读

1. [SB] Sutton＆Barto，增强学习：介绍
2. [GBC] Goodfellow，Bengio＆Courville，深度学习

1. Smith＆Gasser，The Development of Embodied Cognition：Six Lessons from Babies
2. Silver，Huang等人，Mastering the Game of Go with Deep Neural Networks and Tree Search
3. Houthooft等人，VIME：Variational Information Maximizing Exploration
4. Stadie等人，Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
5. Bagnell，模仿的邀请
6. Ho＆Ermon，Generative Adversarial Imitation Learning

一般参考

• Szepesvari，增强学习算法
• Bertsekas，动态规划和优化控制，Vols I和II
• Puterman，Markov决策过程：离散随机动态规划
• Powell，近似动态规划

在线课程

• Rich Sutton的课：强化学习人工智能，2016年秋季
• John Schulman和Pieter Abeel的课：深层增强学习，2015年秋季
• 谢尔盖·莱文，切尔西·芬恩和约翰·舒尔曼的类：深层增强学习，2017年春
• Abdeslam Boularias的类：机器人学习研讨会
• Pieter Abeel的类：高级机器人，2015年秋季
• Emo Todorov的类：通过学习和优化的智能控制，2015年春季
• David Silver的类：钢筋学习

作业和评分

请使用NIPS样式文件在LaTeX中编写所有作业。（sty文件，tex示例）

• 家庭作业1 代码模板， 问题和 tex源。

课程成绩是作业的加权平均值（60％）和开放式最终项目（40％）。

先决条件

本课程假定学生熟悉钢筋学习，数值优化和机器学习。MLD中建议的相关课程包括机器学习简介，10807深度学习课程，10725凸优化或这些课程的在线等效版本。关于机器学习和神经网络的介绍材料，参见：

• Andrej Karpathy的课程
• Coursera的Geoff Hinton
• Coursera的Andrew Ng

不太熟悉钢筋学习的学生可以从Sutton＆Barto的第一章和Dave Silver的课程的第一课开始热身。

反馈

非常感谢您的 反馈。随意保持匿名，但总是试图有礼貌。