【BP算法】

一、符号定义：

 a^l: 第l层的输出值（经过了激活函数）。在DNN中是向量，在CNN中是张量。

σ：激活函数的表达形式。

z^l: 第l层的输出值（未经过激活函数）。在DNN中是向量，在CNN中是张量。

 wl:  第l层的权重。

y:  gt。

：点积扩展，表示用后者构造一个与前者大小相同的矩阵，再进行点乘，即复制扩展了后者。

δ^l：总代价函数对第l层的z的导数。 δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l )

二、DNN-BP

   1.总结：

   δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) δ i,l =(W l+1 ) T δ i,l+1 ⊙σ  ′  (z i,l ) 

   2.推导：

  

   3.流程

  

   4.参考：

    http://www.cnblogs.com/pinard/p/6422831.html

三、CNN-BP

  1.总结：

 

  2.推导：

   类似DNN

  3.流程：

 

  4.参考：

   https://www.cnblogs.com/pinard/p/6494810.html