[CNN] Tool - Deep Visualization

From: http://www.infoq.com/cn/news/2016/12/depth-neural-network-fake-photos

当时大部分的DNN在识别图像中对象的过程中主要依据的特征是一些局部特征（如豹子身上的斑点、校车的黑黄色），而忽略了整体特征（如海星的五角星形状、豹子长了四条腿）。

知道了DNN所忽略的特征，从而有针对性的进行算法的改进，就有可能大幅提升DNN生成指定图像的能力。

2016年，该研究组先后发布了两篇论文介绍 Deep Generator Networks（DGN）以及其改良版 Plug & Play Generative Networks（PPGN），这些改良后的神经网络——创作网络 Generator Network——足以生成以假乱真的图片。

可能有关的另一个概念：visualizing residual networks

< Deep Residual Learning for Image Recognition > - Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

可视化CNN模型中的卷积核 - 论文解读

From: http://www.qingpingshan.com/bc/jsp/202002.html

可视化工作分为两大类，

一类是非参数化方法：这种方法不分析卷积核具体的参数，而是先选取图片库，然后将图片在已有模型中进行一次前向传播，对某个卷积核，我们使用对其响应最大的图片块来对之可视化;
另一类方法着重分析卷积核中的参数，使用参数重构出图像。

发觉

最初的可视化工作见于AlexNet[1]论文中。Krizhevsky, A., Sutskever, I., Hinton, G.: Imagenet classiﬁcation with deep convolutional neural networks. In: NIPS (2012)

在这篇开创Deep Learning新纪元的论文中，Krizhevshy直接可视化了第一个卷积层的卷积核：

们知道，AlexNet[1]首层卷积层(conv1)的filters是(96,3,11,11)的四维blob,这样我们就可以得到上述96个11*11的图片块了。 显然，这些重构出来的图像基本都是关于边缘，条纹以及颜色的信息。

但是这种简单的方法却只适用于第一层卷积层，对于后面的卷积核我们就无法使用这种方法进行直接可视化了。

开山

系统化地对AlexNet进行了可视化，并根据可视化结果改进了AlexNet得到了ZFNet,拿到了ILSVRC2014的冠军。这篇文章可以视为CNN可视化的真正开山之作。

Zeiler, Matthew D and Fergus, Rob. Visualizing and understanding convolutional neural networks. arXiv preprint arXiv:1311.2901, 2013.

发展 - Tool

2015年，Yosinski[5]根据以往的可视化成果(包括参数化和非参数化方法)开发了一个可用于可视化任意CNN模型的toolbox: yosinski/deep-visualization-toolbox，通过简单的配置安装之后，我们就可以对CNN模型进行可视化了。

J. Yosinski, J. Clune, A. M. Nguyen, T. Fuchs, and H. Lipson, “Understanding neural networks through deep visualization,” CoRR, vol. abs/1506.06579, 2015.

反卷积 - 揭示了模型中任意层的feature map与输入之间的响应关系。

为了了解卷积操作，我们需要首先了解中间层的特征激活值。

我们使用了一种新的方式将这些激活值映射回输入像素空间，表明了什么样的输入模式将会导致feature map中一个给定的激活值。

我们使用反卷积网络来完成映射[6]。

一个反卷积网络可以被看成是一个卷积模型，这个模型使用和卷积同样的组件(过滤和池化)，但是却是相反的过程，因此是将特征映射到像素。

在[6]中，反卷积网络被提出作为一种进行非监督学习的方法，但是在这里，它没有学习能力，仅仅用来探测一个已经训练好的卷积神经网络。

在layer5的第一行第二列，这些图片块似乎没有什么共同之处，但是从左边的可视化结果我们可以看出，这个特殊的feature map关注的是背景中的草，而不是前景中的物体。

来自每个层中的投影显示出网络中特征的分层特性。

第二层响应角落和其他的边缘/颜色信息，

层三具有更复杂的不变性，捕获相似的纹理，

层四显示了显著的变化，并且更加类别具体化，

层五则显示了具有显著姿态变化的整个对象。

这里的内容是这篇文章极其重要的贡献，虽然还是不能完全解释CNN这个黑盒，但是通过可视化，我们发现了CNN学习到的特征呈现分层特性，

底层是一些边缘角点以及颜色的抽象特征，越到高层则越呈现出具体的特征，这一过程正与人类视觉系统类似。

这也为如何得到更好的模型给出了指导，一个最简单的思路便是使网络更深，使得每层的特征更加层次分明，这样就能学到更加泛化的特征，后来的VGGNet以及ResNet则证明了这一点。

上图中左侧的图像就是根据反卷积网络得到的结果，下面我们详细解释一下右侧的图片块是如何得到的。

感受野(receptive field)

一个非常重要的概念，receptive field往往是描述两个feature maps A/B上神经元的关系，假设从A经过若干个操作得到B，这时候B上的一个区域只会跟a上的一个区域相关，这时候成为的感受野。用图片来表示：

(Map 1卷积去掉了边缘，正好是11-2-2=7)

在上图里面，map 3里1x1的区域对应map 2的receptive field是那个红色的7x7的区域，而map2里7x7的区域对应于map1的receptive field是蓝色的11x11的区域，所以map 3里1x1的区域对应map 1的receptive field是蓝色的11x11的区域。

(其实就是相关的、涉及到的、相对应的区域)

Understanding Neural Networks Through Deep Visualization

From: http://yosinski.com/deepvis

安装 deep-visualization-toolbox 时遇到的疑难解决方法：

hdf5:

https://gist.github.com/wangruohui/679b05fcd1466bb0937f

"/usr/bin/ld: cannot find -lcblas" :

https://github.com/BVLC/caffe/issues/559

cvNamedWindow:

https://github.com/yosinski/deep-visualization-toolbox/issues/62

https://stackoverflow.com/questions/14655969/opencv-error-the-function-is-not-implemented

Solution:

-- 好东西 --

其他还有：https://github.com/Sunghyo/revacnn 实时卷积查看，不错的样子

工具使用说明：http://www.evolvingai.org/files/2015_Yosinski_ICML.pdf

借此工具，深入卷积，先从深入理解概念入手。

新工具：https://github.com/ml4a/ml4a-ofx

需先安装：http://openframeworks.cc/setup/linux-install/
视频讲解：https://www.youtube.com/watch?v=Gu0MkmynWkw
深度演示：https://ml4a.github.io/demos/