第四周的主要内容是神经网络，个人觉得讲得比较跳，所以补充几篇文章加深一下理解：
神经网络浅讲：从神经元到深度学习
【机器学习】神经网络实现异或（XOR）
这里还有一个特别棒的YouTube视频，加上动画特别有助于理解抽象的矩阵：
But what is a Neural Network? | Deep learning, chapter 1
先提一下，
- 本人设计背景，没学过微积分，这篇只当是笔记，有不准确或不足之处请大家在下方评论。
- 本文是步骤分析，所以会把答案写出来，还没有做作业的请绕道。
ex3 的作业的训练集5000个20 x 20-pixel 的手写数字。我们将数据加载：
% Load saved matrices from file
load('ex3data1.mat');
% The matrices X and y will now be in your MATLAB environment
我们可以看到 X 是5000 x 400 的一个矩阵，每一行是一个数字每像素的灰度值。
这周的作业内容为四个function，完成后就可以识别上图的手写数字啦
- Regularized logistic regression - 30
- One-vs-all classifier training - 20
- One-vs-all classifier prediction - 20
- Neural network prediction function - 30
lrCostFunction
第一个lrCostFunction.m 文件看着无比眼熟，没错这个和上周的costfunctionReg.m 应该是一模一样的。只不过 ex3 要求用向量化也就是矩阵表达。这个课程默认是 ex2 用loop, ex3 用向量。如果 ex2 就使用了向量，那 ex3 的第一个作业就很轻松了（很郁闷为什么不早点给向量化的解释，ex2 就省得我自己算那么久了）。
上面代价函数的向量化很好理解，主要是 vectorize the gradient 关于 X 的转置有点绕人。
逻辑回归正则化就是根据公式在后面加上 lambda blabla... 不过求偏导数的时候要注意theta0 不需要正则化，所以要单独拿出来。
h = sigmoid(X * theta)
cost = 1/m * sum(-y .* log(h) - (1-y) .* log(1-h)); % 这里是 .* 而非 * 是因为将矩阵里每个元素相乘而非矩阵相乘
regCost = lambda / (2*m) * sum(theta(2:end) .^ 2) % 排除theta(1)
J = cost + regCost;
grad = 1/m * X' * (h - y) % 偏导数向量化看 Vectorize the gradient 那张图
temp = lamba / m * theta;
temp(1) = 0;
grad = grad + temp;
One-vs-all
在第四周的视频里，我们了解到One vs all 的基本概念就是把多个分类转化为二元分类的问题。比如第一个判断是不是0，第二个判断是不是1... OneVsAll 函数就是求10个类的参数θ值。
这里我们要用到 fmincg 函数，和上一个练习的 fminuc 差不多，可以返回代价函数最小化的参数θ和相对应的cost. fmincg 更适合参数较多的情况。
% Set initial theta
initial_theta = zeros(n + 1, 1);
% Set options for fmincg 按照示例写就行
% 这里用梯度下降法，最大迭代次数50次
options = optimset('GradObj', 'on', 'MaxIter', 50);
for c = 1: num_labels
% Run fmincg to obtain the optimal theta
all_theta(c,:) = fmincg(@(t)(lrCostFunction(t, X, (y == c), lambda)), initial_theta, options);
end
在ex3.mlx 里设置一下 label 数量和 lambda 值
num_labels = 10; % 10 labels, from 1 to 10
lambda = 0.1;
[all_theta] = oneVsAll(X, y, num_labels, lambda);
all_theta 是一个 10x401的矩阵，每行是每个类（本练习是0, 1, 2, 3 .... 9）的theta值。
Predict OneVsAll
有了这一堆 theta 值，我们就有了训练好的分类器，接下来可以预测一个图片是什么数字了。我们可以先算出该图片为0, 1, 2, 3 ... 的概率，概率最大的即判断为这个数。
这里用sigmoid(X * all_theta') 计算概率。X是一个5000x401的矩阵，all_theta' 是一个401x10的矩阵，相乘后为5000x10的矩阵，每行是这个图分别为1, 2, 3, 4, .... 0 的概率。我们取每行的最大值并判断其为该类别。
我自己脑子不太转得过来，先看看 X * all_theta 的结果：
B = [ones(m, 1) X] * all_theta;
B(1:4, :) % 提取前4行的结果
再看看加了sigmoid
C = sigmoid([ones(m, 1) X] * all_theta);
C(1:4, :) % 提取前4行的结果
作业提示可以用 max 函数返回最大值。如果 A 是一个向量，max(A) 返回A中最大元素，如果 A 是矩阵，max(A) 会将每一列作为一个向量，返回一个行向量，该向量的第 i 个元素是矩阵A 第 i 列上的最大值（参考：matlab 中max函数用法）。
Predict OneVsAll 的代码只有短短几行：
function p = predictOneVsAll(all_theta, X)
m = size(X, 1);
num_labels = size(all_theta, 1);
% p是需要返回的结果
p = zeros(size(X, 1), 1);
% 在X前加一列1
X = [ones(m, 1) X];
[x, p] = max(sigmoid(X * all_theta'), [], 2);
这里p返回的是行号也就是类。
测试一下准确率，为95.04000.
pred = predictOneVsAll(all_theta, X);
fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);
Predict
下一个部分就是将刚刚学到的多元分类运用到神经网络中啦！最后一个其实不难，主要工作是建立一个三层的神经网络。而且作业里已经有了Theta1 和 Theta2, 分别是 25x401 和 10 x 26 的矩阵（Theta矩阵的大小为 s(j+1) x s(j) + 1）。先回顾一下模型：
a1就是在 X 前加一列1，a2 为用Theta1计算出的第二层的值。
a1 = [ones(m, 1) X]; % 输入层
a2 = [ones(m,1) sigmoid(a1 * Theta1')]; % 隐藏层
[x, p] = max(sigmoid(a2 * Theta2'), [], 2); % 输出层
在 main 函数里看一下准确率大概是97.5%.
pred = predict(Theta1, Theta2, X);
fprintf('\nTraining Set Accuracy: %f\n', mean(double(pred == y)) * 100);
最后一段可以随机挑选某个digit 进行预测，非常有趣
