这周和上周的作业一样，数据集还是5000个 20x20 像素的手写字母，这周会用到反向传播的算法。一共5段需要提交的代码，如果上周的内容弄清楚了，跟着教程的话作业是不太难的（虽然课程视频内容很烧脑）。
- Feedforward and cost function 30
- Regularized cost function 15
- Sigmoid gradient 5
- Neural net gradient function (backpropagation) 40
- Regularized gradient 10
Feedforward and cost function
因为多元分类的神经网络中 y 是一个横向的向量，包含了从0到9的标签。但是如果我们要训练一个神经网络，需要将 y 转化为一个只有0和1的矩阵。例如 x1 的标签为5，那 y 的第一行只有第五个元素是1，其他都是0. 我们可以用一个 for loop 完成（可能还有我不知道的更简洁的方法）。
Y = zeros(m,num_labels);
for i = 1:m
Y(i, y(i)) = 1;
end
接着就是构建我们的神经网络模型了，和上周的内容差不多。只不过因为神经网络的公式不同，我们需要多加一个sum. 这个公式不难理解，代价函数求的是预测值和实际结果的平方差，
神经网络的正则化有些复杂，乍一看一个Σ套一个Σ，不过在 matlab 里写的时候就是一个sum套一个sum, 注意括号和公式就可以了（如果结果不对多半是公式写错了哈哈）。
对于前半部分这两个Σ, K 为该神经网络输出层的标签数（本作用中为10），m 为样本数，我们先把一个样本的10个标签的代价求和，再将 m 个样本的代价求和。
作业提示强调不要把 bias 算进去，之前在逻辑回归里是没有算 theta 的第一个元素，这里是跳过 Theta1 和 Theta2 的第一列。
% add bias
a1 = [ones(m,1) X];
% hidden layer
z2 = a1 * Theta1';
% add bias
a2 = [ones(m,1) sigmoid(z2)];
z3 = a2 * Theta2';
a3 = sigmoid(z3);
cost = 1/m * sum(sum(-Y .* log(a3) - (1-Y) .* log(1-a3)));
% skip 1st column of Theta1 and Theta2
regCost = lambda/(2*m) * (sum(sum(Theta1(:,2:end) .^ 2))+ sum(sum(Theta2(:, 2:end) .^ 2)));
J = cost + regCost;
Sigmoid gradient
这个比较简单。我犯的一个错误是用了 * . 虽然在主函数里得到了正确的结果0.25，但是提交的时候出现了问题。所以提交前用 test code 测试一下会比较好（这些 test code 真的很有用）。这里应该用 .* 因为是矩阵元素相乘。
g = sigmoid(z) .* (1-sigmoid(z));
Backpropogation Algorithm
作业里的 checkNNGradients.m 是一段单独的程序，里面的Theta1, Theta2 和之前的不一样，专门用来检测偏导数计算是否正确。其实怎么写公式里面都有，但是......
但是我在电脑前坐了2个多小时一直在写这段代码！（可能是自己智商比较捉急吧...）因为矩阵的 size 总是傻傻分不清，就不停在报错说 Matrix dimensions must agree...
我的代码有点冗余...
% ==== Part 2 ====
Delta1 = zeros(size(Theta1));
Delta2 = zeros(size(Theta2));
for i=1:m
a_1 = X(i,:)';
% add bias
a_1 = [1; a_1];
% hidden layer
z_2 = a_1' * Theta1';
a_2 = sigmoid(z_2);
% add bias
a_2 = [1; a_2'];
% output layer
z_3 = a_2' * Theta2';
a_3 = sigmoid(z_3);
% compute the error
delta_3 = a_3 - Y(i, :);
% compute error on the second layer
tmp = (Theta2' * delta_3')';
delta_2 = tmp(2:end).* sigmoidGradient(z_2);
Delta2 = Delta2 + delta_3' * a_2';
Delta1 = Delta1 + delta_2' * a_1';
end
Theta1_grad = 1/m * Delta1;
Theta2_grad = 1/m * Delta2;
写完后执行一下 checkNNGradients, 可以看到偏导数确实很相近：
Regularized Neural Networks
最后这步也是比较简单的，注意点就是不要把 bias 算进去。 Theta1 和 Theta2 是两个矩阵，这里也是无视他们的第一列。我尽量写得短一点。
% ==== Part 3 ====
% regularize Theta1_grad
Theta1_grad(:,2:end) = Theta1_grad(:,2:end) + lambda / m * Theta1(:, 2:end);
% regualize Theta2_grad
Theta2_grad(:,2:end) = Theta2_grad(:,2:end) + lambda / m * Theta2(:, 2:end);
Learning parameters
到这里就完成作业啦！运行下面的代码用 fmincg 返回 Theta 值，可以看到正确率大概为95.68%!
options = optimset('MaxIter', 50);
lambda = 1;
% Create "short hand" for the cost function to be minimized
costFunction = @(p) nnCostFunction(p, input_layer_size, hidden_layer_size, num_labels, X, y, lambda);
% Now, costFunction is a function that takes in only one argument (the
% neural network parameters)
[nn_params, ~] = fmincg(costFunction, initial_nn_params, options);
% Obtain Theta1 and Theta2 back from nn_params
Theta1 = reshape(nn_params(1:hidden_layer_size * (input_layer_size + 1)), hidden_layer_size, (input_layer_size + 1));
Theta2 = reshape(nn_params((1 + (hidden_layer_size * (input_layer_size + 1))):end), num_labels, (hidden_layer_size + 1));
pred = predict(Theta1, Theta2, X);
fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);
还有最后的显示隐藏层也很有趣呢！
