21天实战caffe笔记_第二天

1 传统机器学习

传统机器学习：通过人工设计特征提取器，将原始数据转化为合适的中间表示形式或者特征向量，利用学习系统(通常为分类器)可以对输入模式进行检测或者分类。流程如下：

传统机器学习的局限在于需要人工设计特征提取器，而且要求较高。而深度学习则不需要，可以由机器自动学习获取，适应性较强。

2 从表示学习到深度学习

表示学习：原始数据—>自动发现用于检测和分类的表示，如下图 ；

深度学习：是一种多层表示学习方法，用简单的非线性模块构建而成；这些模块将上一层表示(从原始数据开始)转化为更高层、更抽象的表

3 深度学习类型

监督学习 ： 略

反向传播学习：略

卷积神经网络(ConvNet) ： 一种特殊类型的深度前馈网络，训练更简单，泛化能力比相邻层全连接更好。四项基本原则：局部互联、共享权值、下采样及使用多个卷积层。  

4 深度学习的反思

(1) 模型参数远大于数据量时，相当于求解一个欠定方程，存在多接的可能性大，容易过拟合；

(2) 模型参数远小于数据量时，相当于求解超定方程，可能无解，或者有解但准确率很低，容易欠拟合；

(3) 模型参数与数据量匹配时，相当于秋季恰定方程，刚刚好，但是如何确定参数和数据量师哥过程问题；

为了避免过拟合或者欠拟合问题，我们通常将大模型首先在较大的数据集(如ImageNet)上预训练，得到模型，再对特定数据集(如人脸数据)进行精调，即可得到较为理想的结果。

5 参考博客

(1) http://blog.csdn.net/julialove102123/article/details/71722495

(2) <深度学习21天实战Caffe.pdf>