Extracting and composing robust features with denosing autoencoders 论文

这是一篇发表于2008年初的论文。

文章主要讲了利用 denosing autoencoder来学习 robust的中间特征。。进上步，说明，利用这个方法，可以初始化神经网络的权值。。这就相当于一种非监督学习的方法来训练神经网络。

当我们在用神经网络解决各种识别任务时，如果我们想要网络的性能更好，就需要更深层或更wider的神经网络来建模，Model出更复杂的分布。  网络变深以后，如何训练是一个很重要问题，如果训练不好，深层网络的性能真的不如浅层的神经网络。。

在训练深层网络的解决方法的道路上，已有的方法：

1.随机初始化权值， 不过这样的效果很不好，网络很容易 stuck in poor solutions

2. 利用stacking的受限的波尔兹曼机预训练网络，然后再fine-tune with UP-down。

3. 使用stacking的 自动编码器初始化网络权值，然后再进行fine-tune with gradient descent.

方法3中的基本的autoencoder的图是这样的：

现在的问题是：我们能不能改进一下它呢？？让它学习到的中间特征更具有代表性？（即可以学习到对输入不变的中间特征）。

下图为文中提出的降噪编码器。。它的主要思想为：给定一个输入 X，首先进行一定的destroy,得到corrupted的 -X，然后利用它学习到中间特征来reconstruct 输入。

改进的 denosing autoencoder

然后，我们就可以利用它逐层来训练网络的初始权值了。

具体过程

1.训练第一层的权值：给定输入X，加噪得到-X, 然后利用这个autoencoder得到了第一层的权值；

2.训练第二层的权值：  固定第一层的权值，然后给定输入X得到了第一层的输出Y，然后把这个Y当作为降噪编码器的原始的输入，然后在Y的基础上加噪，得到了-Y,然后利用autoencoder得到了第二层的初始权值；

3.训练第三层的权值：固定前两层的权值，然后给定输入X，得到了第二层的输出Z，然后把这个Z当作为降噪编码器的原始的输入，在Z的基本加噪，………………,得到了第三层的初始权值；

等等……

这变样，把整个网络的初始权值训练完毕了。

有一个注意的地方就是：我们在训练后面几层的权值时，我们的输入X是不加噪声的，我们只是把前一层的输出作为降噪编码器的原始输入，在它的基础上加上噪声的；这个别错了；

文中给出了从不同的角度来说明了降噪编码器。

包括：什么流形啊、什么信息论、生成模型等等相关的东西，我看了一遍，也没有怎么看明白，需要很深的数学知识、统计知识啊，所以没有深入去看了；

文中通过试验，证明了它的有效性；

另外，文中的参考文献很有价值的；

参考：Extracting and composing robust features with denosing autoencoders 论文；

Extracting and composing robust features with denosing autoencoders 的对应的PPT