读《Deep Learning Tutorial》（台湾大学 李宏毅 深度学习教学ppt）后杂记

原ppt下载：pan.baidu.com/s/1nv54p9R，密码：3mty

需深入实践并理解的重要概念：

Deep Learning：

• SoftMax Fuction（输出层归一化函数，与sigmoid相似的激活函数，用于解决分类问题（分类大于2时；sigmoid解决二分类问题））

1）

2）每个neuron的softmax输出：，其中：

DNN（Deep Neural Networks）：

• MSE（Means Square Error，均方误差） / CE（Cross Entropy，交叉熵）

- Use to minimum total costs for softmax layer. CE is better.

- MSE minimum：

- CE minimum：

• Mini-batch & batch_size（decides how many examples in a mini-batch） & epoch（周期）

- batch：样本训练中，将完整数据分为等量的多个batch（批次），每次输入一个batch而不是完整样本进行训练

- epoch：周期被定义为向前和向后传播中所有batch的单次训练迭代

- mini-batch has better performance than original gradient descent

• Vanishing Gradient Problem（梯度消失问题）
• ReLU（Rectified Linear Unit，线性纠正单元）

- As an activative function, used when the number of layers is quite large.

- 对于大于0的所有输入来说，它都有一个不变的导数值；常数导数值有助于网络训练进行得更快，常用于多层隐藏层

- Special cases of MaxOut：

• Learnable activation function
• Adaptive learning rate（学习率：每次迭代中cost function中最小化的量。简单来说，我们下降到cost function的最小值的速率是学习率）

- Use a large rate first, then change to a small one

• Momentum（动量原理）

- Use the optimizer Adam（Advanced Adagrad Momentum）

• Overfitting Problem（过拟合问题）

- Use early stopping

• Weight Decay（训练时用p%的dropout，测试时对权值做(1-p%)的调整后再获得输出）
• Dropout（训练的过程舍弃神经元）

- Will change structure of networks while training. better than MaxOut

CNN（Convolutional Neural Networks）：

• Image recognization suits to use CNN because of 3 important properties：

1) Patterns are much smaller than the whole image

2) The same patterns appear in different regions

3) Subsampling pixels does not change the object

• filter & channel
• stride(step)
• zero-padding
• max-pooling
• flattern
• less parameters because of sharing weights