无监督学习：Deep Auto-encoder（深度自动编码器）

一 Auto-encoder

NN Encoder & NN Decoder 要一起训练。

二 Starting from PCA

三 Deep Auto-encoder

PCA&Deep Auto-encoder 比较，明显后者效果更好。

当code为二维时，很明显看到Deep Auto-encoder使数字手写识别集分类地更好。

四 Auto-encoder的几种应用

4.1 Auto-encoder – Text Retrieval

Bag-of-word方法将document用向量表示，每一个词都是平等的，无法考虑语义。 而Auto-encoder可以考虑语义。

4.2 Auto-encoder – Similar Image Search

杰克逊和马蹄铁被聚到一起（可能是发型类似马铁蹄）。

4.3 Auto-encoder for CNN

CNN -Unpooling

CNN - Deconvolution

Actually, deconvolution is convolution.

参考：

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/auto%20%28v7%29.pdf

https://blog.csdn.net/soulmeetliang/article/details/73550730