MachineLearning Exercise 4 ：Neural Networks Learning

nnCostFunction

消耗公式:

a1 = [ones(m,) X];
z2 = a1*Theta1';
pre = sigmoid(a1*Theta1');
a2 = [ones(m,) pre];
z3 = a2*Theta2';
a3 = sigmoid(z3);

y_vec = zeros(m,num_labels);
for i=:m;
    y_vec(i,y(i)) = ;
end

for i=:m
    J = J + y_vec(i,:)*log(a3(i,:)')+(1-y_vec(i,:))*log(1-a3(i,:))';
end
J = (-/m)*J;

% add regularized
J = J + (lambda/(*m))*(sum(sum(Theta1(:,:end).^))+sum(sum(Theta2(:,:end).^)));

% back
Delta1 = zeros(size(Theta1));
Delta2 = zeros(size(Theta2));
for i=:m,
    delta3 = a3(i,:) - y_vec(i,:);
    temp = (delta3*Theta2);
    delta2 = temp(:,:end).*sigmoidGradient(z2(i,:));  

    Delta2 = Delta2 + delta3' * a2(i,:);  

    Delta1 = Delta1 + delta2' * a1(i,:);
end;  

Theta2_grad = Delta2/m;
Theta1_grad = Delta1/m;  

Theta2_grad(:,:end) = Theta2_grad(:,:end) + lambda * Theta2(:,:end) / m;
Theta1_grad(:,:end) = Theta1_grad(:,:end) + lambda * Theta1(:,:end) / m;

• 为了方便使用fminunc()，这里讲Theta1和Theta2展开组合成一个vector（nn_params=[Theta1(:);Theta2(:)]），在需要使用时使用reshape重构。
• 初始化是，y是一个由0到9组成的向量，由于我们使用了sigmoid函数，需要将y转化成一个编码式的矩阵。
• a1，a2，a3分别为各层激活值。
• 对矩阵使用一次sum只是分别将行相加求和得到一个向量，因此在求消耗值时应该使用两次sum。
• 没必要求delta1，因为第一层是我们的原始输入数据，不存在误差一说。

反向传播算法公式推导

反向传播算法的本质是利用链式求导法则，虽然神经网络求grad的公式一眼看不明白，但实质都是根据对 J 求导推导出来的，下面将给出一个大致的分析过程：

这是我们熟悉的cost函数，这里故意没有写求和符号，把各种角标丢掉，使公式清晰一些，而且也不影响推导过程。

我们假设有神经网络L层，那么对thetaL-1求导公式为：

上一层公式为：

从上边两个公式就可以看出，他们是有公共部分的，而这个公共部分就是我们的delta：

以此类推，之后的各层delta就有了：

把delta带入我们的求导公式中：

有了上面的解释，整个过程基本就比较明了了，让我们再仔细验证一番，首先从输出层开始，也就是练习的三层神经网络最后一层;

其中

然后我们将开头的cost函数变换为，对a(L)求导得：

由于a(L)=g(z)，而g(z)就是我们的s函数，所以a(L)对z求导得：

这样就可以得到delta了：

终于，看到一丝曙光了，对于练习中的三层神经网络来说，delta3的值显而易见了：

z的值是theta*a，因此：

把上边的总结下，对于输出层，我们得到：

然后是隐藏层：

对于三层网络来说：

最后带入整合：