论文笔记之：SeqGAN: Sequence generative adversarial nets with policy gradient

【论文笔记之：SeqGAN: Sequence generative adversarial nets with policy gradient】的更多相关文章

论文笔记之：SeqGAN: Sequence generative adversarial nets with policy gradient

SeqGAN: Sequence generative adversarial nets with policy gradient AAAI-2017 Introduction : 产生序列模拟数据来模仿 real data 是无监督学习中非常重要的课题之一.最近, RNN/LSTM 框架在文本生成上取得了非常好的效果,最常见的训练方法是:给定上一个 token,推测当前 token 的最大化似然概率.但是最大似然方法容易受到 “exposure bias” 的干扰:the model ge…

论文笔记之：Conditional Generative Adversarial Nets

Conditional Generative Adversarial Nets arXiv 2014 本文是 GANs 的拓展,在产生和判别时,考虑到额外的条件 y,以进行更加"激烈"的对抗,从而达到更好的结果. 众所周知,GANs 是一个 minmax 的过程: 而本文通过引入条件 y,从而将优化的目标函数变成了: 下图给出了条件产生式对抗网络的结构示意图: 是的,整个过程就是看起来的这么简单,粗暴,有效. 实验部分,作者在 Mnist 数据集上进行了实验: 然后是,给图像…

论文笔记——N2N Learning: Network to Network Compression via Policy Gradient Reinforcement Learning

论文地址:https://arxiv.org/abs/1709.06030 1. 论文思想利用强化学习,对网络进行裁剪,从Layer Removal和Layer Shrinkage两个维度进行裁剪. 一个是对层判断是否进行裁剪,一个是判断一层中的参数的裁剪. 2. 原理图 3. 实现细节将层信息进行编码表示,然后送入双端的LSTM中,最后通过Softmax学出多个行为的概率.然后来决定层的裁剪信息. 4. 结果 ResNet-34上实现了10倍的压缩.…

论文笔记之：Generative Adversarial Nets

Generative Adversarial Nets NIPS 2014 摘要:本文通过对抗过程,提出了一种新的框架来预测产生式模型,我们同时训练两个模型:一个产生式模型 G,该模型可以抓住数据分布:还有一个判别式模型 D 可以预测来自训练样本而不是 G 的样本的概率．训练 G 的目的是让 D 尽可能的犯错误,让其无法判断一个图像是产生的,还是来自训练样本．这个框架对应了一个 minimax two-player game. 也就是,一方得势,必然对应另一方失势,不存在两方共赢的局面,这个…

论文笔记之：Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks

Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks NIPS 2015 摘要:本文提出一种 generative parametric model 能够产生高质量自然图像.我们的方法利用 Laplacian pyramid framework 的框架,从粗到细的方式,利用 CNN 的级联来产生图像.在金字塔的每一层,都用一个 GAN,我们的方法可以产生更高分辨率的图像. 引言:在计算…

Generative Adversarial Nets(原生GAN学习)

学习总结于国立台湾大学 :李宏毅老师 Author: Ian Goodfellow • Paper: https://arxiv.org/abs/1701.00160 • Video: https://channel9.msdn.com/Events/Neural-Information-Processing-Systems-Conference/Neural-Information-Processing-Systems-Conference-NIPS-2016/Generative-Adver…