keras模块之-优化器（optimizers）--笔记

本笔记由博客园-圆柱模板 博主整理笔记发布，转载需注明，谢谢合作!

优化器是调整每个节点权重的方法，如：

model = Sequential()
model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh'))
model.add(Activation('softmax'))
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='mean_squared_error', optimizer=sgd)

　　可以看到优化器在模型编译前定义，作为编译时的两个参数之一

代码中的sgd是随机梯度下降算法 
lr表示学习速率 
momentum表示动量项 
decay是学习速率的衰减系数(每个epoch衰减一次) 
Nesterov的值是False或者True，表示使不使用Nesterov momentum

以上4个参数以后具体学习了再解析

除了sgd，还可以选择的优化器有RMSprop（适合递归神经网络）、Adagrad、Adadelta、Adam、Adamax、Nadam