输入模式与网络架构间的对应关系:

  • 向量数据:密集连接网络(Dense层)
  • 图像数据:二维卷积神经网络
  • 声音数据(比如波形):一维卷积神经网络(首选)或循环神经网络
  • 文本数据:一维卷积神经网络(首选)或循环神经网络
  • 时间序列数据:循环神经网络(首选)或一维卷积神经网络
  • 其他类型的序列数据:循环神经网络或一维卷积神经网络。如果数据顺序非常重要(比如时间序列,但文本不是),那么首选循环神经网络
  • 视频数据:三维卷积神经网络(如果需要捕捉运动效果),或者帧级的二维神经网络(用于特征提取)+循环神经网络或一维卷积神经网络(用于处理得到的序列)
  • 立体数据:三维卷积神经网络

三种网络架构:

  • 1.密集连接网络

  • 2.卷积网络

  • 3.循环网络

1.密集连接网络

密集连接网络是Dense层的堆叠,用于处理向量数据(向量批量)。这种网络假设输入特征中没有特定结构:之所以叫作密集连接,是因为Dense层的每个单元都和其他所有单元相连接;

from keras import models
from keras import layers model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(,activation='sigmoid')) model.compile(optimizer='rmsprop',loss='binary_crossentropy')

  

对于二分类问题,层堆叠的最后一层使用sigmoid激活且

只有一个单元的Dense层,并使用binary_crossentropy

作为损失,目标应该是0或1.

from keras import models
from keras import layers model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(num_classes,activation='softmax')) model.compile(optimizer='rmsprop',loss='categorical_crossentropy')

对于单标签多分类问题,每个样本只有一个类别(不会超过一个),

层堆叠的最后一层是一个Dense层,它使用softmax激活,其

单元个数等于类别个数。如果目标是one-hot编码的,那么使用

categorical_crossentropy作为损失;如果目标是整数,那么

使用sparse_categorical_crossentropy作为损失

from keras import models
from keras import layers model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(num_classes,activation='sigmoid')) model.compile(optimizer='rmsprop',loss='binary_crossentropy')

对于多标签多分类问题,每个样本可以有多个类别,层堆叠的最后一层

是一个Dense层,它使用sigmoid激活其单元个数等于类别个数,并使用

binary_crossentropy作为损失,目标应该是k-hot编码的

from keras import models
from keras import layers model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(num_classes) model.compile(optimizer='rmsprop',loss='mse')

  

对于连续值向量的回归问题,层堆叠的最后一层是一个不带激活Dense层,

其单元个数等于你要预测的值的个数(通常只有一个值,比如房价)。

有几种损失可用于回归问题,最常见的是

mena_squared_error(均方误差,MSE)和

mean_absolute_error(平均绝对误差,MAE)

2.卷积神经网络

卷积层能够查看空间局部模式,其方法是对输入张量的不同空间位置(图块)应用相同的几何变换。这样得到的表示具有平移不变性,这使得卷积层能够高效利用数据,并且能够高度模块化。

卷积神经网络或卷积网络是卷积层和最大池化层的堆叠。池化层可以对数据进行空间下采样, 这么做有两个目的:随着特征数量的增大,我们需要让特征图的尺寸保持在合理范围内;让后面的卷积层能够“看到”输入中更大的空间范围。卷积神经网络的最后通常是一个 Flatten 运算 或全局池化层,将空间特征图转换为向量,然后再是 Dense 层,用于实现分类或回归。 注意,大部分(或者全部)普通卷积很可能不久后会被深度可分离卷积(depthwise separable convolution,SeparableConv2D 层)所替代,后者与前者等效,但速度更快、表示效率更高。 对于三维、二维和一维的输入来说都是如此。如果你从头开始构建一个新网络,那么一定要使用深度可分离卷积。SeparableConv2D 层可直接替代 Conv2D 层,得到一个更小、更快的网络, 在任务上的表现也更好。

model = models.Sequential()
model.add(layers.SeparableConv2D(32, 3, activation='relu', input_shape=(height, width, channels)))
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.MaxPooling2D(2)) model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.MaxPooling2D(2)) model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.GlobalAveragePooling2D()) model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(num_classes, activation='softmax')) model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
图像多分类

3.循环神经网络

循环神经网络(RNN)的工作原理是,对输入序列每次处理一个时间步,并且自始至终保存一个状态(state,这个状态通常是一个向量或一组向量,即状态几何空间中的点)。

如果序列中的模式不具有时间平移不变性,那么应该优先使用循环神经网络,而不是一维卷积神经网络。keras中有三种RNN层:SimpleRNN/GRU/LSTM。对于大多数实际用途,你应该使用GRU或LSTM。两者中LSTM更强大,计算代价也更高。可以将GRU看作是一种更简单、计算代价更小的替代方法。想要将多个RNN层逐个堆叠在一起,最后一层之前的每一层都应该返回输出的完整序列(每个输入时间步都对应一个输出时间步)。

如果你不再堆叠更多的RNN层,那么通常只返回最后一个输出,其中包含关于整个序列的二分类。

model = models.Sequential()
model.add(layers.LSTM(32, input_shape=(num_timesteps, num_features)))
model.add(layers.Dense(num_classes, activation='sigmoid')) model.compile(optimizer='rmsprop', loss='binary_crossentropy')
一个单层 RNN 层,用于向量序列的二分类
model = models.Sequential()
model.add(layers.LSTM(32, return_sequences=True, input_shape=(num_timesteps, num_features)))
model.add(layers.LSTM(32, return_sequences=True))
model.add(layers.LSTM(32))
model.add(layers.Dense(num_classes, activation='sigmoid')) model.compile(optimizer='rmsprop', loss='binary_crossentropy')

RNN 层的堆叠,用于向量序列的二分类。

keras搭建密集连接网络/卷积网络/循环网络的更多相关文章

  1. 卷积生成对抗网络(DCGAN)---生成手写数字

    深度卷积生成对抗网络(DCGAN) ---- 生成 MNIST 手写图片 1.基本原理 生成对抗网络(GAN)由2个重要的部分构成: 生成器(Generator):通过机器生成数据(大部分情况下是图像 ...

  2. Dual Path Networks(DPN)——一种结合了ResNet和DenseNet优势的新型卷积网络结构。深度残差网络通过残差旁支通路再利用特征,但残差通道不善于探索新特征。密集连接网络通过密集连接通路探索新特征,但有高冗余度。

    如何评价Dual Path Networks(DPN)? 论文链接:https://arxiv.org/pdf/1707.01629v1.pdf在ImagNet-1k数据集上,浅DPN超过了最好的Re ...

  3. 不到 200 行代码,教你如何用 Keras 搭建生成对抗网络(GAN)【转】

    本文转载自:https://www.leiphone.com/news/201703/Y5vnDSV9uIJIQzQm.html 生成对抗网络(Generative Adversarial Netwo ...

  4. GAN实战笔记——第四章深度卷积生成对抗网络(DCGAN)

    深度卷积生成对抗网络(DCGAN) 我们在第3章实现了一个GAN,其生成器和判别器是具有单个隐藏层的简单前馈神经网络.尽管很简单,但GAN的生成器充分训练后得到的手写数字图像的真实性有些还是很具说服力 ...

  5. 新手教程之:循环网络和LSTM指南 (A Beginner’s Guide to Recurrent Networks and LSTMs)

    新手教程之:循环网络和LSTM指南 (A Beginner’s Guide to Recurrent Networks and LSTMs) 本文翻译自:http://deeplearning4j.o ...

  6. PYTHON深度学习6.2RNN循环网络

    #简单的循环网络 #-*-coding:utf-8 -*- from keras.datasets import imdbfrom keras.preprocessing import sequenc ...

  7. Android中判断网络连接是否可用及监控网络状态

    Android中判断网络连接是否可用及监控网络状态 作者: 字体:[增加 减小] 类型:转载 获取网络信息需要在AndroidManifest.xml文件中加入相应的权限,接下来详细介绍Android ...

  8. NAT模式下远程连接centos6虚拟机与虚拟机网络配置

    最近装了centos,但是没有网络,也无法远程连接.关键是虚拟机中没有ip地址. 网上方法很多,但是每个人情况不一样,所以不尽适用. 1.解决这个问题,首先保证你的vmware的dhcp服务和net服 ...

  9. Qemu搭建ARM vexpress开发环境(三)----NFS网络根文件系统

    Qemu搭建ARM vexpress开发环境(三)----NFS网络根文件系统 标签(空格分隔): Qemu ARM Linux 经过上一篇<Qemu搭建ARM vexpress开发环境(二)- ...

随机推荐

  1. linux下文件描述符的介绍

    当某个程序打开文件时,操作系统返回相应的文件描述符,程序为了处理该文件必须引用此描述符.所谓的文件描述符是一个低级的正整数.最前面的三个文件描述符(0,1,2)分别与标准输入(stdin),标准输出( ...

  2. 渗透中Meterpreter基本操作和对应的windows上的排查或者现象

    Meterpreter的简单介绍 Meterpreter 是MSF自带一个强大的SHELL,可以执行很多功能. Meterpreter SHELL 基本操作 meterpreter>backgr ...

  3. 被C语言操作符优先级坑了

    今天有一个枚举的题目的代码是这样的: 重点在于maxXor这个函数的实现,枚举两个数字,其中maxr保存了最大值的 i 异或 j , 可是这个程序执行结果大大出乎意外-_-. 然后就把 i 异或 j ...

  4. 【BZOJ1210】[HNOI2004]邮递员 插头DP+高精度

    [BZOJ1210][HNOI2004]邮递员 Description Smith在P市的邮政局工作,他每天的工作是从邮局出发,到自己所管辖的所有邮筒取信件,然后带回邮局.他所管辖的邮筒非常巧地排成了 ...

  5. Mecanim高级主题:Mecanim Blend Tree应用、Blend Tree 选项、复合Blend Tree

    一.Blend Tree介绍及应用 一个游戏动画的基本任务就是将两个或多个相似的动作混合.也许最广为人知的例子就是依照任务行动的速度将行走和跑动动画混合起来了.另一个例子就是角色在跑动中向左或向右转身 ...

  6. html如何给图片加角标

    https://segmentfault.com/q/1010000006551803?_ea=1074082 <html><style> #a1 { width: 200px ...

  7. http模拟登陆及发请求

    首先声明下,如果服务端写入的cookie属性是HttpOnly的,程序是不能自动获取cookie的,需要人工登陆网站获取cookie再把cookie写死,如下图所示: http测试工具:http:// ...

  8. python模块路径

    Python会在以下路径中搜索它想要寻找的模块: 1. 程序所在的文件夹 2. 标准库的安装路径 3. 操作系统环境变量PYTHONPATH所包含的路径 将自定义库的路径添加到Python的库路径中去 ...

  9. vue之单表输入绑定

    vue的核心:声明式的指令和数据的双向绑定. 那么声明式的指令,已经给大家介绍完了.接下来我们来研究一下什么是数据的双向绑定? 另外,大家一定要知道vue的设计模式:MVVM M是Model的简写,V ...

  10. Linux 虚拟串口及 Qt 串口通信实例

    Linux 虚拟串口及 Qt 串口通信实例 2011-06-22 17:49 佚名 互联网 字号:T | T Linux 虚拟串口及 Qt 串口通信实例是本文所要介绍的内容,在实现过程中,打开了两个伪 ...