Convolutional Restricted Boltzmann Machines

参考论文：1、Stacks of Convolutional Restricted Boltzmann Machines for Shift-Invariant Feature Learning  

                  2、Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations 

 

预备知识：http://blog.csdn.net/zouxy09/article/details/9993371

。。。写着写着发现论文2的CDBN模型较CRBM模型多了不少细节（如probabilistic max-pooling），文字表示很捉急，因此文章开头是论文2开头，内容实际是CRBM~~总的来说论文1和2内容实质是一样的，论文2只不过是小改了一下模型，理论和算法不变。

       文章开头作者就提出目前的多层生成模型（如DBN）所存在的问题：对高维图像做全尺寸衡量(scaling such models to full-sized)很困难。详细来说传统的多层生成模型DBN有两个方面的挑战：

          ①图像时很高维度的，算法要能够合理的建模，且计算简便；

          ②对象常常分布在图像的局部，要求特征表示对输入的局部变换具有不变性。

 

        接着，作者回想到CNN，其简便的计算和对局部特征的提取令人印象深刻。Bingo！CNN和DBN结合——CDBN！convolutional deep belief networks卷积深信度网络，该方法的关键部分是max-pooling，一种概率的降维技术手段。紧接着说出CDBN是首创的，牛逼之处在于网络的第一、二和三层能够学习到边缘检测、对象局部和对象，如下图：

          正文从序言介绍RBM和DBN开始，列出了RBM和Gaussian-Bernoulli RBM对应的能量函数，主要还是对前人工作的总结。对RBM或Gaussian-Bernoulli RBM的详细计算和推导可以在文章《Learning Multiple Layers of Features from Tiny Images》 BY Alex Krizhevsky，以及《深度学习读书笔记之rbm》自行百度谷歌吧。

 

          接下来干货时间，仔细介绍CDBN。从介绍单层CRBM开始，先放出两个图，图2是单个滤波器在网络中的连接关系，图3是可视层到隐层的卷积计算方式：

一、单层CRBM网络的前向计算过程（positive phase）

        输入为Nv×Nv的2D图像，和CNN一样CRBM可以设置多个特征滤波器(也称为卷积核)，假设有K个大小为Nw×Nw的特征滤波器。每个滤波器可以理解成一个通道，某个通道内部计算和其余通道无关。每个滤波器的计算分为convolution和pooling两个部分：          

①是由可视层到隐层的计算，图3形象的表示了计算过程conv2（v,w1,'valid'）=a1，a1大小为Nh×Nh(这里Nh=Nv-Nw+1），如图3中Nh=6-3+1=4)，用sigmoid函数激活a1后得到滤波器1在隐层的值h1（h1称为一个group）；②是隐层到下采样层pooling层的计算，这里采用了max-pooling方法，即按pool的大小poolsize（如poolsize=2，pool区域大小则为2x2）每个区域选取当中最大值（图2中p），区域划为不重叠，这一点和CNN网络的pooling是一样的。最终每个通道计算得到的pooling层大小为NpxNp（其中Np=Nh/poolsize）。本文介绍的CRBM生成模型中pooling仅仅是一项降维操作，在模型训练过程中可以忽略。

          

          下面的两个公式分别对应convolution和pooling的计算：

          其中σ表示sigmoid激活函数

             其中I为  ，Ba表示pooling区域

          

          第二个pooling的公式是由max-pooling机制和P(h=1|v)的概率计算得到的，P(p=0|v)=1-P(h=1|v)，这里的P(h=1|v)表示pooling区域内h单元出现1的概率，max-pooling后p单元为1的概率P(p=1|v)=P(h=1|v)→P(p=0|v)=1-P(p=1|v)=1-P(h=1|v)。

          计算所有滤波器通道，得到K个大小为NpxNp（其中Np=（Nv-Nw+1）/poolsize）的group。最后需要做Gibbs sampling，这样才完成了CRBM的前向传播过程positive phase。事实上由于pooling层没有参数需要训练，pooling仅作为一个降维和正则化操作。

          

二、CRBM的反向计算过程negative phase也叫反卷积

         

       如上图及公式，其中带*的w表示滤波器w的转置。在前向传播的说明中提到：pooling层没有自由参数，因此在训练CRBM时可以从隐层出发反向传播回可视层。当然这是

          每个可视层单元v都与K个滤波器相连，因此在逆过程negative phase的重构一定是所有滤波器的共同作用实现的，公式里表示成K个滤波器作用的叠加Σ。计算过程中可以用full的conv2函数实现，如Σ(conv2(h,w','full'))。在论文1中还将可视层分为边缘Vb和中心Vm两个部分做计算(因为前向卷积计算过程中Vb对隐层贡献较小，反卷积很难恢复Vb，论文1没有对边缘部分做重构)，仅是技术细节本文跳过不讲。

 

三、稀疏正则化

       由于CRBM隐层单元远大于输入可视层，模型是超完备的。超完备容易容易导致滤波器仅表示单一像素而不是局部特征，一种常用的解决方法就是加入稀疏约束，强制隐层的大部分单元为零，设置整个隐层处于一个低的激活值。Lee还强调说：sparsity regularization during trianing was necessary for learning the oriented edge filters;when this term was removed the algorithm failed to learn oriented edges.没有稀疏约束算法就不能学习到有方向的边缘线条。

 

四、能量函数

       在讲完网络的连接和计算后，给出模型的能量函数(个人以为：大神们的论文中总是将能量函数放在前面讲是为了方便而已，实际设计模型过程中往往是设计好可视层、隐层和池化层的连接关系后再在这个基础上推导出能量函数）。

        可视层到隐层的关系式：

       隐层到可视层的重构   ： 

       可以得出能量函数：

 

                                        

          发

 

五、算法

        用类似RBM的contrastive divergence对比分歧算法，该算法是对极大似然函数的近似快速求解，关于RBM的CD算法具体内容见Hinton大神的文章。下面讲CRBM的参数求解：

        

六、模型改进（论文1）

        论文2中将pooling层加入到生成模型中来，强化了pooling层对可视层的表达能力。甚至对两层CRBM构成的CDBN建模，得到一个四层结构(有两层max-pooling层)的生成模型。

 

END