一场围绕着‘Deeping Learning’的高考

Deep Learning的基本思想和方法

实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIFT，这种特征在很多图像处理的应用中表现非常良好，特征选取得好坏对最终结果的影响非常巨大。因此，选取什么特征对于解决一个实际问题非常的重要。

然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和运气；既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep Learning就是用来干这个事情的，看它的一个别名Unsupervised Feature Learning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。因此，自动地学习特征的方法，统称为Deep Learning。

Deep Learning的基本思想

假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。

另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。

一场围绕着‘Deeping Learning’的高考

人物

刷题狂：浅层学习

学霸君：Deeping Learning

小白君：简单分类器

---

情景

两人要进行一次高考，当然离高考还有些时日，需要进行一些准备。

---

备考

刷题狂考前的做法：买了大量试卷（‘sample’），使劲做啊，争取能做到所有题都要做过。

学霸君则并不需要大量的试卷，他拿到一些题后一个知识点（‘特征’）一个知识点去分析，然后记住这中间的方法。

---

开考

刷题狂做着题，做着做着就有点懵了，很多都没见过，这可怎么搞那没办法了，只能蒙了呗。而学霸君拿到题后将每道题的知识点拎出来后再经过一系列的分析思考就把题做出来了，而且正确率还挺高。最终的结果可想而知。

---

考后

“深度模型”是手段，“特征学习”是目的

小白君看到这样的情况不得来了，眼红的看着学霸君说：厉害了，老哥！怎么做到的，教教我呗。学霸君洋溢着笑容说：拿去吧，我总结的解题宝典（“特征”）

结尾

这个段子仅仅是我的一点小总结，若有什么不对的还望指出。