概述 LSTM在机器学习上面的应用是非常广泛的,从股票分析,机器翻译 到 语义分析等等各个方面都有它的用武之地,经过前面的对于LSTM结构的分析,这一节主要介绍一些LSTM的一个小应用,那就是sequence generation.其实sequence generation本事也是对一些应用的统称,例如: 让机器学习音乐后然后让机器根据学习的模型自己创造音乐(制作人快要失业啦....),让机器学习某种语言然后让这个学习到的模型自己产生Word来说话,等等.这其实本质是一种one-to-many的…

1. 概述 在情感分析的应用领域,例如判断某一句话是positive或者是negative的案例中,咱们可以通过传统的standard neuro network来作为解决方案,但是传统的神经网络在应用的时候是不能获取前后文字之间的关系的,不能获取到整个句子的一个整体的意思,只能通过每一个词的意思来最终决定一句话的情感,这显然是不合理的,导致的结果就是训练出来的模型质量可能不是很高.那么这里就需要用到LSTM来解决这个问题了,LSTM能够很好的表达出句子中词的关系,能将句子当做一个整体来看待,而…

Improving Supervised Seq-to-seq Model 有监督的 seq2seq ,比如机器翻译.聊天机器人.语音辨识之类的 . 而 generator 其实就是典型的 seq2seq model ,可以把 GAN 应用到这个任务中. RL(human feedback) 训练目标是,最大化 expected reward.很大的不同是,并没有事先给定的 label,而是人类来判断,生成的 x 好还是不好.   简单介绍一下 policy gradient.更新 encode…

Improvise a Jazz Solo with an LSTM Network Welcome to your final programming assignment of this week! In this notebook, you will implement a model that uses an LSTM to generate music. You will even be able to listen to your own music at the end of th…

Improvise a Jazz Solo with an LSTM Network Welcome to your final programming assignment of this week! In this notebook, you will implement a model that uses an LSTM to generate music. You will even be able to listen to your own music at the end of th…

Character level language model - Dinosaurus land 为了构建字符级语言模型来生成新的名称,你的模型将学习不同的名字,并随机生成新的名字. 任务清单: 如何存储文本数据,以便使用RNN进行处理. 如何合成数据,通过采样在每个time step预测,并通过下一个RNN-cell unit. 如何构建字符级文本,生成循环神经网络(RNN). 为什么梯度修剪(clipping the gradients)很重要? import numpy as np imp…

有哪些sequence model Notation: RNN - Recurrent Neural Network 传统NN 在解决sequence input 时有什么问题? RNN就没有上面的问题. 注意这里还提到了BRNN 双向RNN的概念. 激活函数 g1 经常用的是tanh, 也有用relu的但是不常用 Backpropagation through time Difference types of RNNs Language model and sequence generatio…

Character level language model - Dinosaurus land Welcome to Dinosaurus Island! 65 million years ago, dinosaurs existed, and in this assignment they are back. You are in charge of a special task. Leading biology researchers are creating new breeds of…

SeqGAN: Sequence generative adversarial nets with policy gradient  AAAI-2017 Introduction :  产生序列模拟数据来模仿 real data 是无监督学习中非常重要的课题之一.最近, RNN/LSTM 框架在文本生成上取得了非常好的效果,最常见的训练方法是:给定上一个 token,推测当前 token 的最大化似然概率.但是最大似然方法容易受到 “exposure bias” 的干扰:the model ge…

1 Recurrent Neural Networks(循环神经网络) 1.1 序列数据 输入或输出其中一个或两个是序列构成.例如语音识别,自然语言处理,音乐生成,感觉分类,dna序列,机器翻译,视频状态识别,名称识别. 1.2 Notation(符号) \(x ^ { ( i ) < t > }\)表示第\(i\)个训练样本输入的第\(t\)个元素 \(T ^ { ( i ) < t > } _ x\)表示第\(i\)个训练样本输入的长度为\(t\) \(y ^ { ( i )…