神经网络学习笔记一——Neural Network

参考自http://deeplearning.stanford.edu/wiki/index.php/Neural_Networks

神经元模型

h（x）= f(W'x)
f(z)一般会用sigmoid函数f(z) = 1/(1+exp(-z))

或tanh函数f(z) = (exp(z)-exp(-z))/(exp(z)+exp(-z))，

两个函数样子类似，区别是sidmoid的值域0~1，tanh在-1~1
注意sigmoid函数的导数特征f'(z)=f(z)(1-f(z))
或tanh函数f'(z)=1-(f(z)^2)

神经网络模型

上一层 的输出是下一层 的激励

若用

则可以

这样我们可以用更为简洁的方式表示

该步骤称之为前向传播（forward propagation）
更为普遍的表示方式为

当然也有其他更复杂的结构，输出层也可以有多个输出，如：