Case Study

　　

(Note: 红色表示不重要)

LeNet-5 起初用来识别手写数字灰度图片

　　

AlexNet 输入的是227x227x3 的图片，输出1000 种类的结果

　　

VGG

VGG比AlexNet 结构更简单，filter 都是3x3的，max-pool 都是 2x2的.

　　

ResNets (Residual Network)

可用让很深的network 工作的很好. This really helps with the vanishing and exploding gradient problems.

　　

　　

为什么ResNet 会起作用呢？下图中所示如果vanishings时候 W[l+2]  =0, 设b也=0. a[l+2] = a[l], 说明很容易保留

　　

　　

Networks in Networks and 1x1 Convolutions

1x1 convolutions 可以用来减少 channel数据，或者保持一样，甚至可以增大channel.

　　

　　

Inception network

就像大烩菜，把1x1, 3x3, 5x5, pooling 都揉到一起，就成了inception network.

　　

上图中有个问题是 computational cost 很高.

　　

这个问题可以用下面的方便解决。这个方法被证明不影响性能.

　　

下面是一个inception module

　　

一个incetption network 是有很多的inception module 组成的network. Inception 来自盗梦空间，和很深的网络有关联意思. 在整个网络中间部分分出来的branch 也是用来做predict的，在中间做预测一般是为了防止overfitting.

这个inception network 来自google的开发者，所以也叫 GoogLeNet， 后面的LeNet 是向 LeNet 的作者 Yann LeCun 致敬

　　

Practical advices for using ConvNets

在trainning data 少的情况下，可以用trasfer learning 的方法，在别人比较训练好的model 上修改后面的layer 来得到自己的model. 当然如果trainning set 够大，也可以自己从头到尾训练出自己的model.

　　

Data augmentation

　　

　　

　　

State of computer vision

　　

下面是一些tips针对benchmark/winning competitions， 但是实际工作中不常用.

　　

工作中常用的是下面的方法

　　

Coursera, Deep Learning 4, Convolutional Neural Networks - week2的更多相关文章

  1. Coursera, Deep Learning 4, Convolutional Neural Networks - week1

    CNN 主要解决 computer vision 问题,同时解决input X 维度太大的问题. Edge detection 下面演示了convolution 的概念 下图的 vertical ed ...

  2. Coursera, Deep Learning 4, Convolutional Neural Networks - week4,

    Face recognition One Shot Learning 只看一次图片,就能以后识别, 传统deep learning 很难做到这个. 而且如果要加一个人到数据库里面,就要重新train ...

  3. Coursera, Deep Learning 4, Convolutional Neural Networks, week3, Object detection

    学习目标 Understand the challenges of Object Localization, Object Detection and Landmark Finding Underst ...

  4. Deep Learning Tutorial - Convolutional Neural Networks(LENET)

    CNN很多概述和要点在CS231n.Neural Networks and Deep Learning中有详细阐述,这里补充Deep Learning Tutorial中的内容.本节前提是前两节的内容 ...

  5. 论文笔记之：Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

    Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016 本文提出了一种新的CNN 框架来处理 ...

  6. [CVPR2015] Is object localization for free? – Weakly-supervised learning with convolutional neural networks论文笔记

    p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #323333 } p. ...

  7. 【论文阅读】Learning Dual Convolutional Neural Networks for Low-Level Vision

    论文阅读([CVPR2018]Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision) 本文针对低 ...

  8. 论文阅读：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

    前言 CVPR2016 来自Korea的POSTECH这个团队   大部分算法(例如HCF, DeepLMCF)只是用在大量数据上训练好的(pretrain)的一些网络如VGG作为特征提取器,这些做法 ...

  9. [转]An Intuitive Explanation of Convolutional Neural Networks

    An Intuitive Explanation of Convolutional Neural Networks https://ujjwalkarn.me/2016/08/11/intuitive ...

随机推荐

  1. java 判断元素是否在数组内

    一,先转为List,再使用contains()方法 String[] strArr = new String[] { "a", "b", "c&quo ...

  2. 【洛谷P2042】维护数列

    题目大意:维护一个序列,支持区间插入,区间删除,区间翻转,查询区间元素和,查询区间最大子段和操作. 题解:毒瘤题...QAQ打完这道题发现自己以前学了一个假的 Splay.. 对于区间操作,用 spl ...

  3. python 二维数组读入

    study from : https://www.cnblogs.com/reaptomorrow-flydream/p/9613847.html python 二维数组键盘输入 1 m = int( ...

  4. bfs退出条件

    找到结果即退出? Possibly Not! 如拓展(x)将导致距离增加0(x)或1(x+1),[这种情况用优先队列] 那么该拓展得到的结果也许并不是最优的,后面还有x. 所以最好的是遍历(不知怎么说 ...

  5. Day036--Python--线程

    1. 线程 from threading import Thread def func(n): print(n) if __name__ == '__main__': t = Thread(targe ...

  6. Good Bye 2018 D. New Year and the Permutation Concatenation

    传送门 https://www.cnblogs.com/violet-acmer/p/10201535.html 题意: 求 n 的所有全排列组成的序列中连续的 n 个数加和为 n*(n+1)/2 的 ...

  7. log4net 开启内部调试

    大家都在用LOG4NET,但这是封装好的,在有时我们找不到原因时会想到是不是发生在里面,比如,配置好了日志记录到数据库(Mysql.Oracle.Sql Server)等,但就是记录不上,又找不到原因 ...

  8. CRT和EXCRT学习笔记

    蒟蒻maomao终于学会\(CRT\)啦!发一篇博客纪念一下(还有防止忘掉) \(CRT\)要解决的是这样一个问题: \[x≡a_1​(mod m_1​)\] \[x≡a_2​(mod m_2​)\] ...

  9. 【清北学堂2018-刷题冲刺】Contest 7

    Task 1:小奇采药 [问题描述]  小奇是只天资聪颖的喵,他的梦想是成为世界上最伟⼤的医师.  为此,他想拜喵星球最有威望的医师为师.  医师为了判断他的资质,给他出了⼀个难题.  医师把他带到⼀ ...

  10. cookie猜数字游戏（下）------------以及cookie使用的不安全之处

    1.通过cookie可以解决上篇中多个用户对数据的修改,每个COOKIE保存不同用户的数据 <?php if(empty($_COOKIE['num'])||empty($_GET['num'] ...