深度信任网络的快速学习算法（Hinton的论文）

也没啥原创，就是在学习深度学习的过程中丰富一下我的博客，嘿嘿。

不喜勿喷！

Hinton是深度学习方面的大牛，跟着大牛走一般不会错吧……

来源：A fast learning algorithm for deep belief nets

看着引用次数，什么时候我也能来一篇（不要笑我这个学渣）。

摘要中出现的几个词就让我有点茫然：

complementary priors，这是一个启发规则还是什么鬼的

explaining away effects，没听说过这个效应捏

据说他的这种快速的贪心算法（fast, greedy algorithm）能够一次训练一层的深度直接信任网络（deep, directed belief networks）

而这种快速的贪心算法是为了给后面的利用较慢的wake-sleep algorithm精细调节权重的过程进行初始化。最后得到一个具有很

好泛化性能的网络，而且效果还要比最好的分类学习算法（the best discriminative learning algorithms）还好。（反正我用神经网

络都是单隐层的，一般说法是多隐层具有很好的拟合效果，但是会造成过拟合，即over fitting，但是这里又能快速训练，而且文

中也说多层的效果也很好）。文中也是主要利用这个deep belief nets来做图片的分类。

 

首先Hinton是建立了一个模型，这个模型如下图所示，我也要好好看看这个模型：

这个模型的有三个隐含层，最上面两个隐含层形成了一个undirected associative memory（没有直接相关联的记忆？），剩下的隐含层

则形成了一个directed acyclic graph将相关记忆（associative memory）转化为可观测的变量，例如图片的像素。接着谈到了建立一个

这样的混合的模型的好处（反正我是没有很好的理解这个模型的）：

1）即使对于有上百万个参数和很多隐含层的深度网络中，对于这样的模型也存在着很快的贪心算法，找到相当好的参数；

2）这个模型的训练算法是unsupervised，但是又可以用于labeled data，是因为该训练算法可以训练模型生成label和data（第2点的

意思是不是，这个模型不仅能产生label，还能反推会data）；

3）有精细的训练算法能调节参数的模型使得模型具有很好的泛化性能，而且分类能力要比一般的分类方法强；

4）训练好的模型能够很好的解释深度隐含层的分布表示（distributed representations）；

5）The inference required for forming a percept is both fast and accurate（目前还不知道这个该怎么理解）；

6）该学习算法是局部的，也就是说调节参数只会根据前驱突触和后继神经元突触的强度；

7）（神经元之间的）交流也特别简单，神经元之间只需要交流它们随机的二进制状态。

 
 

第2部分介绍了消除explaining away现象的方法，即complementary prior。

第3部分说明restricted Boltzmann machines和infinite directed networks with tied weights之间是等价的。

第4部分介绍了那个快速的贪心算法（一次训练一层数据，这样来看是不是就训练一层就完了，不会从头训练吧），随着新的隐含层加入，

模型整体的泛化能力提高了。The greedy algorithm bears some resemblance to boosting in its repeated use of the same weak learner, but

instead of reweighting each data-vector to ensure that the next step learns something new, it represents it（这里他不是每次都重新调整权重，

而是重新表示，是这个意思吗？）。

第5部分介绍了经过快速贪心算法初始化之后的权重，怎么利用wake-sleep算法进行fine-tune。

第6部分展示了包含3个隐层1.7 million个权重的网络对MNIST set of handwriting digits模式识别性能（我擦，这么多参数）。没有提供这

些手写体的任何几何信息，也没有经过任何的预处理，所建立网络的识别误差是1.25%，比最好的back-propagation的网络的1.5%要好，同

时也比支持向量机的1.4%的误差稍好。

第7部分我们要看看这个网络是在想什么，如果没有对可视输入进行约束。从这个网络的高层表示生成一张图片（我感觉这个牛叉，就像人眼

看到一幅图片，然后经过大脑的抽象之后，刻在脑子里，也就是突触之间的权重会保存信息，然后我们在根据这些信息重构一张图么？）。

 
 

讲到这里，首先是一个具有很多特性的网络结构提出来了，它有很多的隐含层，而且这些变量的值都是二进制（也可以说是二元的，binary），

然后我们得对模型提出某个训练算法，让它能够学习，训练的过程大体上分为两个阶段，第一个阶段是fast greedy algorithm来对每一层的参数

进行训练，这个过程很快。第二阶段就是一个fine-tune的wake-sleep算法，由于没有具体的去看算法，目前也就只能从整体上把握这个过程，

现在就具体的去看看怎么实现的吧！（启发：一直以来的印象就是多隐层的泛化效果不好，偏偏就有人反其道而行之，要多整几层；网络结构上

也有改变，算法上也有新的）。

 
 

2 Complementary priors

explaining away现象是什么？