第九讲_图像生成 Image Captioning

第九讲_图像生成 Image Captioning

• 生成式对抗网络 Generative Adversarial network
  

• 学习数据分布：概率密度函数估计+数据样本生成
• 生成式模型是共生关系，判别式模型是因果关系
• GAN在生成模型的位置
  

• GAN特点
  

GAN

• 无监督网络框架
• 生成器generator and 判别器 discriminator
• 先学习判别器，然后固定判别器，优化生成器

生成器网络

• 生成样本数据
  

判别器网络

• 样本有真实采样数据+生成器生成的样本数据
  

• EM优化是同方向优化，GAN最大最小优化

优化目标

• 价值函数
• 判别器价值函数最大化，生成器价值函数最小化；相反方向优化，对抗形式
• 纳什均衡点
• D（x）->1，D(G(x))->0，判别器的希望的；D(G(x))->1,生成器希望的
  

代价函数

• 改动最多的是G代价函数
  
  
  
• 三种游戏代价函数对比
• 生成器就是让判别器判别为真；需要的梯度回传是要学习判别为假的部分数据
  

训练算法

• 训练
  
  

• 问题和挑战

• 优化控制，很难达到纳什均衡
  

DCGAN图片生成

• 生成器
• 4个转置卷积
  
• 重要的使用批归一化
  
• 生成效果：仅支持低分辨率图片，无法捕捉物体结构
• Z向量的计算特征，插值特性

语义描述-->图片生成

• caption to image
  

超分辨Super-Resolution

• 模型
  
• 两种代价函数
• 生成器的权重初始化，使用预训练的；训练才能成功
• 捕捉人类视觉感知代价-SRGAN
  

语义分割semantic segmentation

• 在原来的分割网络添加对抗生成器
• 添加对抗损失函数

• 降低模型过拟合

SRGAN代码实现

• https://github.com/349zzjau/ChinaHadoop_C9
• 使用mnist数据集
• sugartensor库