Case Study

　　

(Note: 红色表示不重要)

LeNet-5 起初用来识别手写数字灰度图片

　　

AlexNet 输入的是227x227x3 的图片，输出1000 种类的结果

　　

VGG

VGG比AlexNet 结构更简单，filter 都是3x3的，max-pool 都是 2x2的.

　　

ResNets (Residual Network)

可用让很深的network 工作的很好. This really helps with the vanishing and exploding gradient problems.

　　

　　

为什么ResNet 会起作用呢？下图中所示如果vanishings时候 W[l+2]  =0, 设b也=0. a[l+2] = a[l], 说明很容易保留

　　

　　

Networks in Networks and 1x1 Convolutions

1x1 convolutions 可以用来减少 channel数据，或者保持一样，甚至可以增大channel.

　　

　　

Inception network

就像大烩菜，把1x1, 3x3, 5x5, pooling 都揉到一起，就成了inception network.

　　

上图中有个问题是 computational cost 很高.

　　

这个问题可以用下面的方便解决。这个方法被证明不影响性能.

　　

下面是一个inception module

　　

一个incetption network 是有很多的inception module 组成的network. Inception 来自盗梦空间，和很深的网络有关联意思. 在整个网络中间部分分出来的branch 也是用来做predict的，在中间做预测一般是为了防止overfitting.

这个inception network 来自google的开发者，所以也叫 GoogLeNet， 后面的LeNet 是向 LeNet 的作者 Yann LeCun 致敬

　　

Practical advices for using ConvNets

在trainning data 少的情况下，可以用trasfer learning 的方法，在别人比较训练好的model 上修改后面的layer 来得到自己的model. 当然如果trainning set 够大，也可以自己从头到尾训练出自己的model.

　　

Data augmentation

　　

　　

　　

State of computer vision

　　

下面是一些tips针对benchmark/winning competitions， 但是实际工作中不常用.

　　

工作中常用的是下面的方法

　　

Coursera, Deep Learning 4, Convolutional Neural Networks - week2的更多相关文章

  1. Coursera, Deep Learning 4, Convolutional Neural Networks - week1

    CNN 主要解决 computer vision 问题,同时解决input X 维度太大的问题. Edge detection 下面演示了convolution 的概念 下图的 vertical ed ...

  2. Coursera, Deep Learning 4, Convolutional Neural Networks - week4,

    Face recognition One Shot Learning 只看一次图片,就能以后识别, 传统deep learning 很难做到这个. 而且如果要加一个人到数据库里面,就要重新train ...

  3. Coursera, Deep Learning 4, Convolutional Neural Networks, week3, Object detection

    学习目标 Understand the challenges of Object Localization, Object Detection and Landmark Finding Underst ...

  4. Deep Learning Tutorial - Convolutional Neural Networks(LENET)

    CNN很多概述和要点在CS231n.Neural Networks and Deep Learning中有详细阐述,这里补充Deep Learning Tutorial中的内容.本节前提是前两节的内容 ...

  5. 论文笔记之：Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

    Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016 本文提出了一种新的CNN 框架来处理 ...

  6. [CVPR2015] Is object localization for free? – Weakly-supervised learning with convolutional neural networks论文笔记

    p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #323333 } p. ...

  7. 【论文阅读】Learning Dual Convolutional Neural Networks for Low-Level Vision

    论文阅读([CVPR2018]Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision) 本文针对低 ...

  8. 论文阅读：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

    前言 CVPR2016 来自Korea的POSTECH这个团队   大部分算法(例如HCF, DeepLMCF)只是用在大量数据上训练好的(pretrain)的一些网络如VGG作为特征提取器,这些做法 ...

  9. [转]An Intuitive Explanation of Convolutional Neural Networks

    An Intuitive Explanation of Convolutional Neural Networks https://ujjwalkarn.me/2016/08/11/intuitive ...

随机推荐

  1. echarts x轴文字显示不全解决办法

    标题:echarts x轴文字显示不全(xAxis文字倾斜比较全面的3种做法值得推荐):http://blog.csdn.net/kebi007/article/details/68488694

  2. 【CF1119E】Pavel and Triangles

    题目大意:有 N 种长度的边,第 i 种长度为 \(2^i\),给定一些数量的这些边,问最多可以组合出多少种三角形. 题解:应该是用贪心求解,不过选择什么样的贪心策略很关键. 首先分析可知,两个较大边 ...

  3. operation=

    x+=xxx 先执行xxx,再x=x+xxx 一个与之的问题 C(n,n/2) for (i=n;i>n/2;i--)        v*=i/(n+1-i);每次先执行i/(n+1-i),然后 ...

  4. haploview画出所有SNP的LD关系图

    有时候我们想画出所有SNP的LD关系图,则需要在命令行添加“-skipcheck”命令行,如下所示: java -jar Haploview.jar -skipcheck -n -pedfile 80 ...

  5. 关键字（8）：数据库记录的增删查改insert，delete，select，update

    insert:一般只要参数个数和类型没问题,不会插入异常 INSERT INTO t_pos_dynamic_map(autoid, lt_termno, lt_merchno) VALUES(SEQ ...

  6. 图论分支-差分约束-SPFA系统

    据说差分约束有很多种,但是我学过的只有SPFA求差分: 我们知道,例如 A-B<=C,那么这就是一个差分约束. 比如说,著名的三角形差分约束,这个大家都是知道的,什么两边之差小于第三边啦,等等等 ...

  7. 读写锁ReadWriteLock

    为了提高性能,Java提供了读写锁,在读的地方使用读锁,在写的地方使用写锁,灵活控制,如果没有写锁的情况下,读是无阻塞的,在一定程度上提高了程序的执行效率. Java中读写锁有个接口java.util ...

  8. CSS3 vmax的用法

    1. calc() calc():在流体布局上,可以通过calc()计算得到元素的宽度. 2. vw/vh/vmin/vmax的使用 vw/vh/vmin/vmax是视窗单位,也是相对单位.相对的不是 ...

  9. Swagger入门

    新手入门Swagger看了很多博客,竟然没有一个是步骤齐全的或直接能运行的.于是CSDN下载了SSM+Swagger整合的demo,一顿瞎整,终于可以运行了. 不容易,因此分享这篇博客,祝新手朋友们早 ...

  10. Terminal 快捷键帮助

    Terminal 快捷键帮助 Terminal 快捷键帮助 移动光标至行首 CTRL+A 第一次按时,移动光标至行首: 再次按时,回到原有位置 CTRL+X 移动光标至行尾 CTRL+E 光标向左移动 ...