ng-深度学习-课程笔记-17: 序列模型和注意力机制(Week3)

1 基础模型(Basic models) 一个机器翻译的例子,比如把法语翻译成英语,如何构建一个神经网络来解决这个问题呢? 首先用RNN构建一个encoder,对法语进行编码,得到一系列特征然后用RNN构建一个decoder,将编码后的特征信息,解码成英语,以此来生成对应的英语翻译一个图像生成字幕的例子首先用CNN构建一个encoder,对图像进行编码,得到一系列特征然后用RNN构建一个decoder,将编码后的特征信息,解码成文本,以此来生成对图像的字幕描述 2 选择最可能的句子(Pi…

吴恩达《深度学习》-第五门课序列模型(Sequence Models)-第三周序列模型和注意力机制（Sequence models & Attention mechanism）-课程笔记

第三周序列模型和注意力机制(Sequence models & Attention mechanism) 3.1 序列结构的各种序列(Various sequence to sequence architectures) 首先,我们先建立一个网络,这个网络叫做编码网络(encoder network)(上图编号 1 所示),它是一个 RNN 的结构, RNN 的单元可以是 GRU 也可以是 LSTM.每次只向该网络中输入一个法语单词,将输入序列接收完毕后,这个 RNN 网络会输出一个向量来代表…

深度学习课程笔记（十八）Deep Reinforcement Learning - Part 1 (17/11/27) Lectured by Yun-Nung Chen @ NTU CSIE

深度学习课程笔记(十八)Deep Reinforcement Learning - Part 1 (17/11/27) Lectured by Yun-Nung Chen @ NTU CSIE 2018-08-11 13:42:23 This video can be found from: https://www.youtube.com/watch?v=yQdD_R_I6vc Slides: https://www.csie.ntu.edu.tw/~yvchen/f106-adl/doc/1…

深度学习教程 | Seq2Seq序列模型和注意力机制

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/35 本文地址:http://www.showmeai.tech/article-detail/227 声明:版权所有,转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容本系列为吴恩达老师<深度学习专业课程>学习与总结整理所得,对应的课程视频可以在这里查看. 引言在ShowMeAI前一篇文章自然语言处理与词嵌入中我们对以下内容进行了介绍: 词嵌入与迁移学习/…

深度学习课程笔记（十二） Matrix Capsule

深度学习课程笔记(十二) Matrix Capsule with EM Routing 2018-02-02 21:21:09 Paper: https://openreview.net/pdf/99b7cb0c78706ad8e91c13a2242bb15b7de325ad.pdf Blog: https://jhui.github.io/2017/11/14/Matrix-Capsules-with-EM-routing-Capsule-Network/ [Abstract] 一个…

深度学习课程笔记（六）Error

深度学习课程笔记(六)Error Variance and Bias: 本文主要是讲解方差和偏差: error 主要来自于这两个方面.有可能是: 高方差,低偏差: 高偏差,低方差: 高方差,高偏差: 低方差,低偏差--- 这是理想情况 ================================================================================= 随着模型复杂度的上升,那么,bias 会逐渐降低的.…

深度学习课程笔记（五）Ensemble

深度学习课程笔记(五)Ensemble 2017.10.06 材料来自: 首先提到的是 Bagging 的方法: 我们可以利用这里的 Bagging 的方法,结合多个强分类器,来提升总的结果.例如: 通过这种求平均的方法,可以得到更加接近真实值的输出. 我们可以对训练数据集进行随机采样,构建四个子数据集,然后分别对这些数据进行分类器的训练,得到多个强分类器. 上面是训练的情况,当测试的时候,我们可以将多个分类器的结果综合起来,得到最终的结果. ==>> 这些方法在你的模型比较复杂,容易过拟…

深度学习课程笔记（二）Classification： Probility Generative Model

深度学习课程笔记(二)Classification: Probility Generative Model 2017.10.05 相关材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 本节主要讲解分类问题: classification 问题最常见的形式,就是给定一个输入,我们去学习一个函数,使得该函数,可以输出一个东西(label).如下所示: 其实好多其他的问题,都是分类问题演化而来,都可以通过分类问题来解决,如:物体…

深度学习课程笔记（一）CNN 卷积神经网络

深度学习课程笔记(一)CNN 解析篇相关资料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html 首先提到 Why CNN for Image ? 综合上述三个特点,我们可以看到图像识别有如下的特色: =================================== 分割线 ======================================================= 以上就是整体上来感受下深度神经网络,接下…

深度学习课程笔记（十七）Meta-learning (Model Agnostic Meta Learning)

深度学习课程笔记(十七)Meta-learning (Model Agnostic Meta Learning) 2018-08-09 12:21:33 The video tutorial can be found from: Model Agnostic Meta Learning Related Videos: My talk for Model Agnostic Meta Learning with domain adaptation Paper: https://arxiv.org/p…

深度学习课程笔记（十六）Recursive Neural Network

深度学习课程笔记(十六)Recursive Neural Network 2018-08-07 22:47:14 This video tutorial is adopted from: Youtube =====>> 问题是:language 到底是否是 recursive 的呢? ======>> 上述几个图,就展示了这个语法树的成长过程... ================================================== ========>&g…

深度学习课程笔记（十五）Recurrent Neural Network

深度学习课程笔记(十五)Recurrent Neural Network 2018-08-07 18:55:12 This video tutorial can be found from: Youtube Issue: 传统方法中,当你的训练数据中,没有那么丰富的 training data,那么可能会导致部分数据的预测为 0,如上图所示.为了不让它变成 0,所以,我们给它一个非常小的 value,如:0.0001.但是这种给定的低概率的 value,是相当不准确的. 所以,我们想能否有一种…

深度学习课程笔记（十四）深度强化学习 --- Proximal Policy Optimization (PPO)

深度学习课程笔记(十四)深度强化学习 --- Proximal Policy Optimization (PPO) 2018-07-17 16:54:51 Reference: https://blog.openai.com/openai-baselines-ppo/ Code: https://github.com/openai/baselines Paper: https://arxiv.org/pdf/1707.06347.pdf Video Tutorials: https://ww…

深度学习课程笔记（十三）深度强化学习 --- 策略梯度方法（Policy Gradient Methods）

深度学习课程笔记(十三)深度强化学习 --- 策略梯度方法(Policy Gradient Methods) 2018-07-17 16:50:12 Reference:https://www.youtube.com/watch?v=z95ZYgPgXOY&t=512s…

深度学习课程笔记（十）Q-learning (Continuous Action)

深度学习课程笔记(十)Q-learning (Continuous Action) 2018-07-10 22:40:28 reference:https://www.youtube.com/watch?v=tnPVcec22cg…

深度学习课程笔记（九）VAE 相关推导和应用

深度学习课程笔记(九)VAE 相关推导和应用 2018-07-10 22:18:03 Reference: 1. TensorFlow code: https://jmetzen.github.io/2015-11-27/vae.html 2. Paper: https://arxiv.org/pdf/1312.6114.pdf…

深度学习课程笔记（八）GAN 公式推导

深度学习课程笔记(八)GAN 公式推导 2018-07-10 16:15:07…

深度学习课程笔记（七）：模仿学习（imitation learning）

深度学习课程笔记(七):模仿学习(imitation learning) 2017.12.10 本文所涉及到的模仿学习,则是从给定的展示中进行学习.机器在这个过程中,也和环境进行交互,但是,并没有显示的得到 reward.在某些任务上,也很难定义 reward.如:自动驾驶,撞死一人,reward为多少,撞到一辆车,reward 为多少,撞到小动物,reward 为多少,撞到 X,reward 又是多少,诸如此类...而某些人类所定义的 reward,可能会造成不可控制的行为,如:我们想让 a…

深度学习课程笔记（十一）初探 Capsule Network

深度学习课程笔记(十一)初探 Capsule Network 2018-02-01 15:58:52 一.先列出几个不错的 reference: 1. https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b 2. https://medium.com/ai%C2%B3-theory-practice-bus…

深度学习课程笔记（四）Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法 2017.10.06 材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 我们知道在神经网络中,我们需要求解的是一个最小化的问题,即:最小化 loss function. 假设我们给定一组初始的参数 $\theta$,那么我们可以算出在当前参数下,这个loss是多少,即表示了这个参数到底有多不好. 然后我们利用上述式子来调整参数,其中梯度可以用▽的形式…

深度学习课程笔记（三）Backpropagation 反向传播算法

深度学习课程笔记(三)Backpropagation 反向传播算法 2017.10.06 材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 反向传播算法这里是用到 chain rule(链式法则)的,如下图所示: 这个应该没什么问题.大家都学过的. 我们知道总的loss 是由各个小的 loss 组合得到的,那么我们在求解 Loss 对每一个参数的微分的时候,只要对每一个 loss 都这么算就可以了.那么我们以后的例子都是以…

DeepLearning.ai学习笔记（五）序列模型 -- week2 序列模型和注意力机制

一.基础模型假设要翻译下面这句话: "简将要在9月访问中国" 正确的翻译结果应该是: "Jane is visiting China in September" 在这个例子中输入数据是10个中文汉字,输出为6个英文单词,$T_x$和$T_y$数量不一致,这就需要用到序列到序列的RNN模型. 类似的例子还有看图说话: 只需要将encoder部分用一个CNN模型替换就可以了,比如AlexNet,就可以得到"一只(可爱的)猫躺在楼梯上"…

《Andrew Ng深度学习》笔记1

深度学习概论 1.什么是神经网络? 2.用神经网络来监督学习 3.为什么神经网络会火起来? 1.什么是神经网络? 深度学习指的是训练神经网络.通俗的话,就是通过对数据的分析与计算发现自变量与因变量的映射关系(神经网络模型),这个映射关系可以是单层(一个神经元),也可以是网络(多个神经元),此过程可称为训练过程:其后根据此神经网络模型来对事物进行预测或分类. 通过一个例子来说明何为神经网络.房价的预测,影响房价的因素有很多,现在仅考虑房间大小,即只有一维特征.下图的红叉代表已知价格的房子大小,通过…