莫烦大大TensorFlow学习笔记（8）----优化器

一、TensorFlow中的优化器

1. tf.train.GradientDescentOptimizer：梯度下降算法
2. tf.train.AdadeltaOptimizer
3. tf.train.AdagradOptimizer
4. tf.train.MomentumOptimizer：动量梯度下降算法
5. tf.train.AdamOptimizer：自适应矩估计优化算法
6. tf.train.RMSPropOptimizer
7. tf.train.AdagradDAOptimizer
8. tf.train.FtrlOptimizer
9. tf.train.ProximalGradientDescentOptimizer
10. tf.train.ProximalAdagradOptimizertf.train.RMSProOptimizer

（1）如果数据是稀疏的，使用自适应学习方法。
（2）RMSprop，Adadelta，Adam是非常相似的优化算法，Adam的bias-correction帮助其在最后优化期间梯度变稀疏的情况下略微战胜了RMSprop。整体来讲，Adam是最好的选择。
（3）很多论文中使用vanilla SGD without momentum。SGD通常能找到最小值，但是依赖健壮的初始化，并且容易陷入鞍点。因此，如果要获得更快的收敛速度和训练更深更复杂的神经网络，需要选择自适应学习方法。

https://blog.csdn.net/winycg/article/details/79363169

二、常用的种类：

1、tf.train.Optimizer：

class tf.train.Optimizer：优化器（optimizers）类的基类。

Optimizer基类提供了计算损失梯度的方法，并将梯度应用于变量。这个类定义了在训练模型的时候添加一个操作的API。你基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer.等等这些。 

2、tf.train.GradientDescentOptimizer：梯度下降

原理：

• batch GD【全部样本，速度慢】

• 随机GD【随机一个样本，速度快，但局部最优】

• mini-batch GD 【batch个样本，常在数据量较大时使用】

训练集样本数少【≤2000】:采用batchGD

训练集样本数多：采用mini-batch GD，batch大小一般为64-512. 训练时多尝试一下2的次方来找到最合适的batch大小。

应用：

这个类是实现梯度下降算法的优化器。这个构造函数需要的一个学习率就行了。

构造函数：tf.train.GradientDescentOptimizer(0.001).minimize(loss,global_step=None,var_list=None,gate_gradients=GATE_OP,aggregation_method=None,colocate_gradients_with_ops=False,name=None,grad_loss=None)

 __init__(

     learning_rate,

     use_locking=False,

     name='GradientDescent'

 )

learning_rate: （学习率）张量或者浮点数

use_locking: 为True时锁定更新

name: 梯度下降名称，默认为"GradientDescent".

3、tf.train.AdadeltaOptimizer：

实现了 Adadelta算法的优化器，可以算是下面的Adagrad算法改进版本。

构造函数： tf.train.AdadeltaOptimizer.init(learning_rate=0.001, rho=0.95, epsilon=1e-08, use_locking=False, name=’Adadelta’)

4、tf.train.AdagradOptimizer：

构造函数：tf.train.AdagradOptimizer.__init__(learning_rate, initial_accumulator_value=0.1, use_locking=False, name=’Adagrad’)

5、tf.train.MomentumOptimizer：

原理：

momentum表示要在多大程度上保留原来的更新方向，这个值在0-1之间，在训练开始时，由于梯度可能会很大，所以初始值一般选为0.5；当梯度不那么大时，改为0.9。 α是学习率，即当前batch的梯度多大程度上影响最终更新方向，跟普通的SGD含义相同。

应用：

构造函数：tf.train.MomentumOptimizer.__init__(learning_rate, momentum, use_locking=False, name=’Momentum’, use_nesterov=False)

 __init__(

     learning_rate,

     momentum,

     use_locking=False,

     name='Momentum',

     use_nesterov=False

 )

learning_rate: （学习率）张量或者浮点数

momentum: （动量）张量或者浮点数

use_locking: 为True时锁定更新

name:  梯度下降名称，默认为 "Momentum".

use_nesterov:  为True时，使用 Nesterov Momentum.

6、tf.train.RMSPropOptimizer

目的和动量梯度一样，减小垂直方向，增大水平方向。W为水平方向，b为垂直方向。

7、tf.train.AdamOptimizer：动量和RMSProp结合

应用：

 __init__(

     learning_rate=0.001,

     beta1=0.9,

     beta2=0.999,

     epsilon=1e-08,

     use_locking=False,

     name='Adam'

 )

构造函数：tf.train.AdamOptimizer.__init__(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, use_locking=False, name=’Adam’)

learning_rate: （学习率）张量或者浮点数，需要调试

beta1:  浮点数或者常量张量 ，表示 The exponential decay rate for the 1st moment estimates.【推荐使用0.9】

beta2:  浮点数或者常量张量 ，表示 The exponential decay rate for the 2nd moment estimates.【推荐使用0.999】

epsilon: A small constant for numerical stability. This epsilon is "epsilon hat" in the Kingma and Ba paper (in the formula just before Section 2.1), not the epsilon in Algorithm 1 of the paper.

use_locking: 为True时锁定更新

name:  梯度下降名称，默认为 "Adam".