AndrewNG Deep learning课程笔记 - CNN

参考，

An Intuitive Explanation of Convolutional Neural Networks

http://www.hackcv.com/index.php/archives/104/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

CNN基础

CNN网络主要用于compute vision

对于图片输入而言，是一种极高维度的数据，比如分辨率1000*1000*3的图，可能会产生3 billion的参数，这不太可行

所以我要使用convolutional NN来解决这种问题，

首先看看什么是卷积操作，

如下图，

原图片6*6

中间3*3的矩阵，称为filter或卷积核kernel，它表示你需要匹配的模式，这里detect edge，竖线

最右边4*4的矩阵，就是进行卷积操作后的结果

为何这个filter可以找出竖线，直观理解，filter找出左右存在色彩反差的区域或者找出由明转向暗的区域，如下图

实际中还有很多其他的filter，

但是其实在deep learning中，你不需要去手工设计或者选择filter，因为他们是学习的参数，可以通过模型学习到

可以看出用卷积可以大大减少需要学习的参数，

为什么卷积网络，可以用这么少的参数？

首先是参数共享

通过一个filter可以找出图片上任何位置的特征，如竖线

这样的好处是无论输入图片多大，参数size都是固定的，由filter本身决定

第二，稀疏链接

如果是全连接层，每个输出的每个维度都和输入的每个维度相关，所以需要很多的参数
而在卷积层，一个输出的某个维度如下图，是由输入中的9个feature算出的，而其他特征无关

这样需要的参数大大减少，同时也降低了过拟合

Padding

上面的卷积操作有两个问题，

每次卷积操作都会缩小图片的尺寸

会丢失边缘区域的特征

所以为了解决这些问题，padding就是把图片扩大一圈，用0填充

这样就有两种convolution操作，

valid就是no padding，结果大小的公式，n-f+1

same就是padding让输出结果大小不变，根据公式算，p=2的时候，就可以保证不变

这里描述filter一般都是odd，而不会是偶数，直观上讲，如果f是偶数，那么没法对称的padding，而且f是奇数是filter是有中心点的，这个很方便
所以filter一般都是3*3，5*5，7*7

strided convolution

对于convolution，除了调整filter size，padding，还可以调整stride的大小

可以每次滑动超过1步，那公式会变成如下，

cross-correlation VS convolution

在通信或数据中，convolution操作要先把filter，同时在横轴和竖轴上进行翻转，如图，

这样做的好处，是可以让convolution操作满足结合律

但是在DL中，我们其实没有做这种翻转，这种操作其实应该叫做cross-correlation

但是大家都习惯和默认称为convolution

convolutions on volumes

真实的图片有RBG三层，所以是立体的，这样如果进行convolution

输入数据的层数，称为depth或channel

当输入数据有3个channel，那么filter对应也需要有3个channel

如图，上面这个3*3*3的filter可以detect 红色的竖线

下面这个，可以detect 任意颜色的竖线

在实际使用中，需要同时detect多个feature，所以有多个filter，如下图

输出数据的channel数，取决于filter的数目

one layer of a convolutional network

那把卷积操作放到网络中的一层结构如下，

卷积再加上b，就完成了线性变换的部分，后面跟上非线性变换，就完成了一个神经单元

上图中的各个参数的表示如下，

给出一个完整的CNN的例子，

每层的结构，根据上面的公式很容易算出，卷积层只是做特征的提取和变换，最终输出前，还是需要fully connected，然后用logistics或softmax输出结果

CNN网络一般有三种layer组成，convolution层，pooling层，fully connected层

pooling layers

池化层，利用采样高效的降低维度和减少特征值

一般有最大和平均池化，这层是没有参数的

neural network example

卷积神经网络的结构比较复杂，而且超参数非常多，所以常用的方法是参考经典的网络结构

先看个例子，用于手写体数字识别，

如下图，总结下这个网络的结构，

能学到的规律，

首先，池化层没有参数，而卷积层的参数并不多，参数主要集中在全连接层

然后，CNN的经典结构就是，cov-pool-cov-pool-fc-fc-fc-softmax，几层cov和pool组合，加上几组fc层

再者，activation size是慢慢减少的，如果降低的太快会影响模型的性能

Case Studies

参考，https://zhuanlan.zhihu.com/p/22094600

比较直观看出各个网络的年代和性能差距

LeNet-5

该网络由作者名字LeCun命名，5代表五层模型

该网络，用于手写数字识别，用于灰度图片，所以图片channel为1

网络整体有60k的参数，比较小

用于当时没有padding技术，所以随着网络depth增加，size是不断变小，但是channel是不断变大的

网络结构被后续沿用，若干cov+pool + 若干fc + output

从原始图片1024个像素到最后一层FC的维度84，所以cnn关键就是抽象和提取特征

AlexNet

这个网络也是用作者名字命名的

AlexNet和LeNet其实比较像，就是规模大了许多，参数从60k到60m

只所以可以训练这么大的网络，是因为AlexNet在工程实践上利用的GPU

然后AlexNet，采用了Relu和dropout，最终把compute vision带到一个新世界

VGG

VGG网络是比AlexNet规模更大，更深的网络模型，参数达到138M之多

16表示有参数的layer有16层

VGG的特点是结构规整，工业化的思路，我们不去精巧的设计，依赖网络的规模和数据规模来解决问题

首先他用的Conv和Pool模块是固定的，

Conv是3*3，s=1，same

Pool是2*2，s=1

然后为了便于表示，在图中省略了Conv的参数，Conv 64 *2，表示2层卷积层，每层有64个filter

再者，

由于这里用same conv，所以conv是不会改变图片size的

全靠pooling层改变图片size，并且也很有规律

多个Same Conv后，会接一个Pool，这样picture的size减半，并且每个Pool后，加上的Conv层的channel都会double

所以还是符合size变小，channel变大的规律，只是更规整

Residual Networks（ResNets） 

残差网络的本质是要解决网络太深后难以训练的问题，由于梯度消失或梯度爆炸

可以看到之前的网络也就十几层，而残差网络都是上百层，甚至上千层

所以残差网络效果好，不是有什么秘诀，因为更深的网络，更好的性能，这是理所当然的

只是之前的网络模型，在实践中无法训练到那么深

残差网络，是由residual block组成的，

residual block至少两层layer组成，

除了普通的main path，不同就是多了shotcut或skip connection

即，会把第一层的输入a1，叠加到第二层的激活函数前

所以第二层的输出，就从a2 = g(z2)，变成a2 = g(z2 + a1)

我们把很多的residual block 堆叠(stack)在一起，就形成residual network，如下图，

如图，把plain network变成ResNet，只需要给每两层加上shortcut，这样就可以解决plain network当layer数过大性能明显下降的问题

为什么残差网络可以帮助网络增加深度？

NG的观点是，因为residual block对网络是无副作用的

如下图，由于residual block的输出是a2 = g(z2 + a1)

那么只要让z2 = w2a1 + b2的参数，w2，b2趋于0(类似正则化)，那么a2=g(a1)，如果g是relu，那么g(a1)=a1，所以得到a2 = a1

而让参数为0这是很容易学习的

所以说residual block最差的情况就是，原封不动的传递输入，这样当然无论迭代多深都没有关系

但是，如果不是最差情况，能学到些东西，对网络就可以产生正向的帮助

这里residual block有个假设，就是z2 + a2，那么两者的size需要一样

如果不一样了？那这里需要增加一个参数，Ws用于把a2的size转成和z2一样

下图是个实际的例子，如何将一个plain的cnn，转化为一个ResNet网络

注意虚线的链接，表示经过pool，size变化后，需要进行size转换

Inception网络

inception各个版本对比

https://blog.csdn.net/xbinworld/article/details/61674836

inception的命名，是因为在盗梦空间，inception，中有一句台词，“we need to go to deeper”

所以可以看出，inception network或GoogleNet的主要目的，也是让网络更深

首先看下1*1 convolution，

1*1 convolution，其实就是单像素点，在各个channels上的线性组合

它的作用，

主要就是低成本的调节channel数，或depth；在不需要调整长宽的情况下，用3*3，5*5，比较耗费性能

再者，因为有relu输出，附带一层非线性效果

下面就看看啥是inception网络，

普通的convolution网络，你要选择用什么样的filter或是用pool层，选择困难怎么办？

Inception的思路就是，都用上，然后把结果stack在一起，让模型去决定

注意这里要保证输出的size一致，所以这里的pool是same pool，不会压缩尺寸，这是很特殊的pool用法

这个思路最大的问题就是计算量太大，那么这时我们的1*1 convolution就用上了

比如上面的例子，直接对输入做5*5 convolution，那么计算量120 million

用上1*1 convolution，先把depth降下来，再算5*5 convolution，这样计算量只有12 million左右，小十倍

可以看到，两个方法，输入和输出都是一样的，但用上1*1 convolution降低channel后，计算量大大降低

中间这层称为，bottleneck layer，使用恰当的情况下，降维优化并不会损失算法的performance

我个人的理解，由于1*1 convolution是各个channel的线性组合，加上适当数量的filter，并不会丢失太多的信息

Inception module

现在来看inception module就比较清楚了，

如图就是一个inception module，其中1*1 convolution都是用来调节depth的

比如MaxPool后面的，就把depth调节到32，避免pool的结果在最终stack中占太大的空间

而inception网络，就是inception module的堆叠，中间还会加上些红色的pool层来调节size

Object Detection

classification with localization

这个和普通图片分类的区别，就是除了给出类别，还要给出在图中的位置信息

看这个例子，除了要给出图片是哪一类，1，2，3，4，car是2

还要给出car的位置，bx，by，bh，bw

这里假设图片的坐标是，从(0,0)到(1,1)

这样就有5个输出，其他的和原来一样，还是交给模型去训练

具体实现如下，

这里的输出增加一个Pc，表示是否有object，0或1

bx到bw是代表object的位置

c1，c2，c3表示具体的类别

这里给出两个例子，一个是车的，一个是单纯背景无object的

注意，

loss function中，如果Pc=0，表示没有object，那么后面的值就没有意义，所以在算loss function的时候就不需要考虑，只需要算第一项的平方误差

上面是比较简单的位置的例子，还可以检测面部特征或体态特征这样的case，思路都是一样的，关键是定义清楚位置特征作为输出

当然关键是，你需要有相当的训练集

sliding windows object detection

如果一个图里面有多个对象怎么办，这个就是object detection

传统的方法就是，sliding windows object detection，很naive的方法

拿一个框去遍历裁剪图片，对每个裁剪下来的小图，做分类，是否有object，是什么object

这个方法的问题很明显，你如何定义裁剪尺寸，太大就没有意义，太小计算量就会非常大

传统的方法是用线性回归来做分类，性能还能接受，但是用cnn性能就不行了

上面的图，显示如何通过cnn进行分类，14*14*3是裁剪的小图片，通过conv层，pool层，然后FC层，最后softmax

为了优化，我们可以把整个分类的过程，都转化成conv层

比如，第一层FC，5*5*16，全连接到400的节点

我们也可以用400个5*5*16的filter，进行卷积，最终得到1*1*400，同样的效果

这样第二层FC，我们用400个1*1*16的filter来代替

最后softmax，用4个1*1*16的filter来代替

这称为，convolutional implementation

这样的好处，我们可以把遍历裁剪图片分类这个过程，通过一遍cnn计算搞定

比如，输入图片16*16*3，裁剪大小是14*14*3，如果遍历输入图片会产生4个小图片

这里我们不用对每个小图片分别采用conv计算，如果这样做会产生大量的重复计算

而只要整体的做一遍conv计算，如下图，最终得到2*2*4的输出，即一下输出4个裁剪小图片的结果，效率大大提高

但这个方法，我们仍然需要指定裁剪size，

但这样只能判断object是否在小图片中，无法给出更精确的位置信息；并且很有可能object无法完整的被任何裁剪小图包含

Yolo（you only look once）

Yolo的思路，既然上面单纯的分类无法找到精确边界，那我们加上classification and localization的部分

对每个图片同时给出分类和边界数据，

既然我们可以得到精确的边界，所以就没有必要用sliding window，直接用grid把图片切分就可以

对于下面的例子，我们把图片用3*3的grid划分，最终就得到3*3*8的结果

训练这个模型，我们也要按照这个格式给出训练集，比如上图中，给出绿色框和黄色框的数据作为实例

由于这里也用convolutional implementation的方式，使得计算非常高效，

所以训练集中，x表示输入图片，100*100*3，输出就是3*3*8

ok，这里明显的问题是

如果一个grid里面两个objects，怎么办？这个通过用小grid来降低概率，比如用19*19

反之，如果一个object比较大，占好几个grid怎么办？

我们只看，object的中心点，bx，by落在哪个grid，那么就认为object属于这个grid，即Pc为1，其他的grid仍然认为没有object

所以bx，by一定落在grid内，所以bx，by都是小于1的（grid的边界从0，0到1，1）

但是由于object是可能占多个格子的，所以bh，bw可能是大于1的

Intersection over union （IOU）

如何判断算出的bounding是否精确？

很简单，交并比

下图，红框是精确的bounding box，而紫色的算出的bounding box，想判断紫色的bounding box是否足够精确

Non-max suppression

用yolo算法的时候，

在准备训练集的时候，我们可以把一个车根据中心点放到一个grid中

但是在predict的时候，会有不止一个grid认为车在自己的grid中如图，并用Pc来表示概率

那么直接的想法，既然Pc表示概率，我们就选概率最大的，其他的都discard掉，就好了

如果图片中只有一个object，这个方法是可以的

但是如果有多辆车，我怎么知道哪些grid的bounding box是描述的同一辆车？

这里就要用到交并比，如果两个bounding box的IOU大于0.5，我们就认为是同一辆车

所以得到下面的方法，

首先discard掉所以Pc较小的grid

然后找到最大的Pc，然后删掉所有和它的IOU大于0.5的grid，这样一个object就保留了一个Pc最大的grid

如果还有grid剩下，说明有其他的object，再重复上面的过程一一找出

Anchor boxes

前面说了当用很小grid的时候，一个grid中有多个object的概率是很小的

但如果要在一个grid中detect两个object应该怎么做？

直接的想法是，我用8位的输出来detect一个object

那如果要detect两个，就用16位输出，分别表示两个object

比如下图，图片中人和车都在一个grid中，所以我们就用前8位表示人，后8位表示车

这样讲人可以理解，机器不行

所以我们要用机器可以理解的概念来定义人和车，

这里就是用anchor box，anchor box可以人手工设计，也可以用k-means去统计，比如人的平均边界，车的的平均边界

如下图，我们就用anchor box1代表人，anchor box2代表车

那么一个object到底是算哪个box？还是用交并比，和谁的交并比大就算谁

这个方法用起来比较麻烦，detect两个object就用16位输出，如果要detect多个object就要更多位的输出

而且还要指定和设计anchor box

然后如果grid中出现多于假设个数的object，就没办法处理

或者两个object的anchor box类似，也很难处理

Region proposals

除了，Yolo，还有另外一个思路来加速sliding windows object detection

region-cnn，思路就是对于sliding windows object detection，我们要遍历所有的裁剪图片去做分类，但是某些裁剪图片明显是没有任何东西的

所以，region-cnn会对图片做分块，segmentation，如最右图，这样只需要对不同的色块做分类即可

那么执行分类的candidate变少，性能就提高了

Face Recognition

Recognition可以分解成verification的问题，如果解决了verification的问题，那么Recognition只是遍历的问题

这里要注意的是，如果要在Recognition达到一定精度，verification的精度要提高几个量级

因为如果verification的精度99%，但库里面有100张图片，所以每次误差的叠加就会很高

One-shot training

在很多场景下，你不会有很多关于某个人的图片，可能只有一张图片作为训练集，当这个人再次出现时，你要能够认出他

这个用传统的cnn就无法解决，首先训练集太少，无法得到有效的网络

再者如果要识别的对象增加，比如新员工入职，你需要从新训练网络

所以采用的方法是，

Siamese network

具体的做法，就是通过cnn对图片进行encoding，比如下图，一张图片会编码成128位的向量（往往成为embedding）

那么训练目标，就是相同人的图片得到的embedding间的距离比较小，反之

Triplet loss

Triplet，顾名思义，一个训练集中有3个图片，anchor作为baseline，一个positive，和一个negative

很明显，

我们的目的就是，让d(A,P)小于d(A,N)，d是距离

光小于不够，要远小于，所以加上margin超参数alpha

形式化，

A和P的选择很简单，

对于N的选择，我们应该尽量选择和A相近的N，这样算法效率会更高，如果我们随机选择N，会让上面的约束很容易达到，会大大降低训练效率

除了triplet loss，也有其他的方法训练，siamese network ，比如下面的方法，把两个图片的embedding，作为logistics回归的输入，变成一个分类问题去训练

Neural sytle transfer

sytle transfer要做的如下图，

给出一张content图片C，一张style图片S，要的效果就是生成G

所以优化目标，J（G），由两部分组成，

J（C，G），表示G和C在content上的相似度

J（S，G），表示G和S在style上的相似度

下面就分别来定义这两个目标函数，

content cost function

判断内容是否相似比较直观，和前面脸部识别一样，我们只要把图片encoding成embedding，然后比较相似度就好

实际做，

找一个pre-trained的ConNet，选一层l的输出作为embedding，通常l不会太浅也不会太深，这样可以比较好的代表图片的内容

剩下的就是计算两个embedding的相似度

style cost function

关键是要找出，style是什么？

这里给出的定义是，对于某个layer，style是各个channel的相关系数

cnn中，某一层的各个channel是由不同的filter生成，filter可以理解代表某一种特征

直观理解，如果两个channel相关性高，说明其filters所代表的特征常常会同时出现，比如下图，中竖线和橘色两种特征

形式化定义，我们用style matrix，G[l]，来表示图片在第l层的风格，

G用来表示每个channel之间的关系，所以nc*nc大小的

k层channel和k‘层channel的相关系数，就是两层对应的每个位置数据的乘积和，也称为gram矩阵

直观上简化一下，如果数据只有0，1，如果两层不相干，乘积和会为0，只有相关才会同时出现1，这样相关系数才会大

那么上面就给出在l层上，S和G的style的cost function，其实就是计算S和G的style matrix的差异

最终J（S，G）会考虑所有layer上的风格矩阵的差异