第九讲_图像生成 Image Captioning

  • 生成式对抗网络 Generative Adversarial network

  • 学习数据分布：概率密度函数估计+数据样本生成
  • 生成式模型是共生关系，判别式模型是因果关系
  • GAN在生成模型的位置

  • GAN特点

GAN

  • 无监督网络框架
  • 生成器generator and 判别器 discriminator
  • 先学习判别器，然后固定判别器，优化生成器

生成器网络

  • 生成样本数据

判别器网络

  • 样本有真实采样数据+生成器生成的样本数据

  • EM优化是同方向优化，GAN最大最小优化

优化目标

  • 价值函数
  • 判别器价值函数最大化，生成器价值函数最小化；相反方向优化，对抗形式
  • 纳什均衡点
  • D（x）->1，D(G(x))->0，判别器的希望的；D(G(x))->1,生成器希望的

代价函数

  • 改动最多的是G代价函数


  • 三种游戏代价函数对比
  • 生成器就是让判别器判别为真；需要的梯度回传是要学习判别为假的部分数据

训练算法

  • 训练

  • 问题和挑战

  • 优化控制，很难达到纳什均衡

DCGAN图片生成

  • 生成器
  • 4个转置卷积
  • 重要的使用批归一化
  • 生成效果：仅支持低分辨率图片，无法捕捉物体结构
  • Z向量的计算特征，插值特性

语义描述-->图片生成

  • caption to image

超分辨Super-Resolution

  • 模型
  • 两种代价函数
  • 生成器的权重初始化，使用预训练的；训练才能成功
  • 捕捉人类视觉感知代价-SRGAN

语义分割semantic segmentation

  • 在原来的分割网络添加对抗生成器
  • 添加对抗损失函数

  • 降低模型过拟合

SRGAN代码实现

第九讲_图像生成 Image Captioning的更多相关文章

  1. 第八讲_图像问答Image Question Answering

    第八讲_图像问答Image Question Answering 课程结构 图像问答的描述 具备一系列AI能力:细分识别,物体检测,动作识别,常识推理,知识库推理..... 先要根据问题,判断什么任务 ...

  2. 第二讲_图像数据处理Image Data Processing

    第二讲_图像数据处理Image Data Processing 深度模型出现后被弱化,但是思想的影子在深度模型中可以看到的 图片存储原理 RGB颜色空间:三通道(b,g,r),加法混色 CMY(K): ...

  3. 『cs231n』作业3问题4选讲_图像梯度应用强化

    [注],本节(上节也是)的model是一个已经训练完成的CNN分类网络. 随机数图片向前传播后对目标类优化,反向优化图片本体 def create_class_visualization(target ...

  4. 『TensorFlow』第九弹_图像预处理_不爱红妆爱武装

    部分代码单独测试: 这里实践了图像大小调整的代码,值得注意的是格式问题: 输入输出图像时一定要使用uint8编码, 但是数据处理过程中TF会自动把编码方式调整为float32,所以输入时没问题,输出时 ...

  5. 第七讲_图像描述（图说）Image Captioning

    第七讲_图像描述(图说)Image Captioning 本章结构 递归神经网络 时序后向传播(BPTT) 朴素Vanilla-RNN 基本模型 用sigmoid存在严重的梯度消失 LSTM长短时记忆 ...

  6. Linux基础知识第九讲,linux中的解压缩,以及软件安装命令

    目录 Linux基础知识第九讲,linux中的解压缩,以及软件安装命令 一丶Linux Mac Windows下的压缩格式简介 2.压缩以及解压缩 3.linux中的软件安装以及卸载 1.apt进行安 ...

  7. OpenGL ES学习笔记（二）——平滑着色、自适应宽高及三维图像生成

    首先申明下,本文为笔者学习<OpenGL ES应用开发实践指南(Android卷)>的笔记,涉及的代码均出自原书,如有需要,请到原书指定源码地址下载. <Android学习笔记--O ...

  8. 第十讲_图像检索 Image Retrieval

    第十讲_图像检索 Image Retrieval 刚要 主要是图像预处理和特征提取+相似度计算 相似颜色检索 算法结构 颜色特征提取:统计图片的颜色成分 颜色特征相似度计算 色差距离 发展:欧式距离- ...

  9. 斯坦福NLP课程 | 第15讲 - NLP文本生成任务

    作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/36 本文地址:http://www. ...

随机推荐

  1. day03_06 变量详解

    print ("hello world") print("alex") print("jinxing") print("3乘以4= ...

  2. python学习-- 两种方式查看自己的Django版本

    [第一种方式] Windows系统下 按住Windows按键 + R 进入搜索:搜索CMD进入控制台:输入Python进入Python解释器 Linux系统下 直接使用终端调用Python解释器 接下 ...

  3. 30行js让你的rem弹性布局适配所有分辨率(含竖屏适配)

    用rem来实现移动端的弹性布局是个好主意!用法如下: CSS @media only screen and (max-width: 320px), only screen and (max-devic ...

  4. Tensorflow 笔记 -- tensorboard 的使用

    Tensorflow 笔记 -- tensorboard 的使用 TensorFlow提供非常方便的可视化命令Tensorboard,先上代码 import tensorflow as tf a = ...

  5. [python学习篇][廖雪峰][2]函数式编程

    函数名也是变量: >>> f = abs >>> f(-10) 10 然变量可以指向函数,函数的参数能接收变量,那么一个函数就可以接收另一个函数作为参数,这种函数就 ...

  6. spring AOP详解一

    AOP是Aspect Oriented Programing的简称,面向切面编程.AOP适合于那些具有横切逻辑的应用:如性能监测,访问控制,事务管理以及日志记录.AOP将这些分散在各个业务逻辑中的代码 ...

  7. DS作业06-图

    1.本周学习总结(0--2分) 1.1思维导图 1.2谈谈你对图结构的认识及学习体会. 图这一章的学习,是经过树学习后,难得一章重新寻找到感觉的学习.因为这一章比较少用递归,使用的是结构体,很多东西我 ...

  8. POJ 1609 Tiling Up Blocks

    Tiling Up Blocks Time Limit: 1000MS   Memory Limit: 10000K Total Submissions: 4675   Accepted: 1824 ...

  9. Phpstrom 书签应用

    F11增加书签 书签 Ctrl + F11切换书签助记符 Ctrl +#[0-9]转到编号书签 Shift + F11显示书签

  10. Android强制更新

    代码改变世界 Android版本强制更新 package com.lianpos.util; import android.content.Context; import android.conten ...