ubuntu之路——day8.3 RMSprop

RMSprop：

全称为root mean square prop，提及这个算法就不得不提及上篇博文中的momentum算法

首先来看看momentum动量梯度下降法的过程：

在RMSprop中：

Compute dW,db on the current mini-batch

S_dW = βS_dW  +  (1-β)dW²

S_db  = βS_db +  (1-β)db²

W = W - α（dW / sqrt.S_dW+ε），b = b - α（db / sqrt.S_db+ε）

所以也就是说RMSprop就是对动量梯度下降法中的dw和db每次除根号下的S_dW和S_db变形即可

注意：为了防止根号下的S_dW和S_db可能无限接近于0的情况，加上了一个很小的ε值即可，通常取ε=10^-8