Coursera台大机器学习技法课程笔记13-Deep Learning

深度学习面临的问题和现在解决的办法：

简要来说，分两步使用DL：初始化时一层一层的选择权重，而后再进行训练：

那么怎么做pre-training，即怎么选择权重呢？好的权重能够不改变原有资料的信息，即编码过后信息够解码过后仍能保持

用类神经网络做如下：

这样做的原因就是，能找到一个好的特征转换：找到隐藏的资料结构，学到数据典型的表现形式

在层与层的autoencoder过程中，不需要标签信息：

下面介绍了一个regularization方法：在资料中加入artifical noise（很疯狂的想法）：

上面的autoencoder是非线性的，下面介绍一个线性的模型，实际上就是PCA算法

对Ein进行优化

继续推导，得到结论：对资料的投影方向，就应该是其最大的几个特征值对应的特征向量的方向

PCA