4. Stacked AutoEncoder（堆栈自动编码器）

1. AutoEncoder介绍

2. Applications of AutoEncoder in NLP

3. Recursive Autoencoder（递归自动编码器）

4. Stacked AutoEncoder（堆栈自动编码器）

1. 前言

深度学习的威力在于其能够逐层地学习原始数据的多种表达方式。每一层都以前一层的表达特征为基础，抽取出更加抽象，更加适合复杂的特征，然后做一些分类等任务。

堆叠自编码器（Stacked Autoencoder，SAE）实际上就是做这样的事情，如前面的自编码器，稀疏自编码器和降噪自编码器都是单个自编码器，它们通过虚构一个\(x->h->x\)的三层网络，能过学习出一种特征变化\(h = f(wx+b)\)。实际上，当训练结束后，输出层已经没有什么意义了，我们一般将其去掉，即将自编码器表示为：

2. SAE原理

之前之所以将自编码器模型表示为3层的神经网络，那是因为训练的需要，我们将原始数据作为假想的目标输出，以此构建监督误差来训练整个网络。等训练结束后，输出层就可以去掉了，因为我们只关心的是从\(x\)到\(h\)的变换。

接下来的思路就很自然了，我们已经得到特征表达\(h\)，那么我们可不可以将\(h\)再作为原始信息，训练一个新的自编码器，得到新的特征表达呢？当软可以，而且这就是所谓的堆叠自编码器（Stacked Autoencoder，SAE）。Stacked就是逐层堆叠的意思，这个跟“栈”有点像。当把多个自编码器Stack起来之后，这个系统看起来就像这样：

2.1 第一层AE

这样就把自编码器改成了深度结构了，即《learning multiple levels of representation and abstraction》(Hinton, Bengio, LeCun, 2015)。需要注意的是，整个网络的训练不是一蹴而就的，而是逐层进行的。比如说我们要训练一个\(n -> m -> k\) 结构的网络，实际上我们是先训练网络\(n -> m -> n\)，得到\(n -> m\)的变换，然后再训练\(m -> k -> m\)网络，得到\(m -> k\)的变换。最终堆叠成SAE，即为\(n -> m -> k\)的结果，整个过程就像一层层往上面盖房子，这就是大名鼎鼎的 layer-wise unsuperwised pre-training （逐层非监督预训练）。

接下来我们来看一个具体的例子，假设你想要训练一个包含两个隐藏层的堆叠自编码器，用来训练 MNIST 手写数字分类。

首先，你需要用原始输入\(x(k)\)训练第一个稀疏自编码器中，它能够学习得到原始输入的一阶特征表示\(h(1)(k)\)，如下图所示：

2.2 第二层AE

接着，你需要把原始数据输入到上述训练好的稀疏自编码器中，对于每一个输入\(x(k)\)，都可以得到它对应的一阶特征表示\(h(1)(k)\)。然后你再用这些一阶特征作为另一个稀疏自编码器的输入，使用它们来学习二阶特征\(h(2)(k)\)，如下图：

2.3 第三层

同样，再把一阶特征输入到刚训练好的第二层稀疏自编码器中，得到每个\(h(1)(k)\)对应的二阶特征激活值$h(2)(k) $。接下来，你可以把这些二阶特征作为softmax分类器的输入，训练得到一个能将二阶特征映射到数字标签的模型。如下图：

2.4 组合

最终，你可以将这三层结合起来构建一个包含两个隐藏层和一个最终softmax分类器层的堆叠自编码网络，这个网络能够如你所愿地对MNIST数据集进行分类。最终模型如下图：

3. 总结

为什么逐层预训练的SAE有不错的效果？一个直观的解释是，预训练好的网络在一定程度上拟合了训练数据的结构，这使得整个网络的初始值是在一个合适的状态，便于有监督阶段加快迭代收敛。当然，有不少研究提出了很好的初始化策略，再加上现在常用的dropout、ReLU，直接去训练一个深层网络已经不是问题。

最后，多说一句，除了AE和SAE这种逐层预训练的方式外，还有另外一条类似的主线，即限制玻尔兹曼机（RBM）与深度信念网络（DBN）。