在深度学习中,如果我们已经定义了网络,输入,以及输出,那么接下来就是损失函数,优化策略,以及一般由框架完成的BP反传.这篇博文我们主要探讨一下深度的BP反传算法(以梯度下降为例),尤其是mini_batch的BP反传,目标是如何更新网络的参数:权重和偏置. 首先,我们来看网络中基本参数的一些定义. 使用梯度下降法,一般计算所有样本的损失函数的平均值,进而计算梯度方向.但是,当样本n特别多的时候,计算会比较困难.因此,提出了随机梯度下降的方法,即我们从样本集中随机抽取m个样本,其计算的平均梯度近似…
