在上一篇文章中，我们学会了如何计算一个人工神经元的输出。人工神经网络的计算实际上就是从input层开始，按照同样的方法依次计算网络各层中的神经元，直到得到最终的output。神经网络的权重值（weights）决定了网络最终的输出值。训练（training）神经网络的过程实际上就是不断地调整权重，从而使网络输出的结果更优的过程。

在学习具体的神经网络训练算法之前，我们先来学习如何对input数据进行标准化（normalization），以及如何对神经网络的output进行评估（evaluation）。这一部分内容并不仅仅针对神经网络，对其他类型的模型也适用。

Normalization

我们拿到的原始数据往往不能直接使用，一般需要经过数据清洗和标准化之后才能用来训练。下面我们学习一些常用的标准化方法。

One-of-N Encoding
对于无序分类（各个类别不能排序）数据，我们使用的标准化方法是One-of-N encoding，有时也称之为one-hot encoding。在神经网络中，每个输出神经元对应一个类别（class）。比如在识别手写数字的问题中，一共有10个class（0-9），我们的神经网络就有10个输出神经元，每个输出神经元的softmax激活函数给出input属于该class（具体数字）的概率。这十个数字的编码结果如下：

0 -> [1,0,0,0,0,0,0,0,0,0]
1 -> [0,1,0,0,0,0,0,0,0,0]
2 -> [0,0,1,0,0,0,0,0,0,0]
3 -> [0,0,0,1,0,0,0,0,0,0]
4 -> [0,0,0,0,1,0,0,0,0,0]
5 -> [0,0,0,0,0,1,0,0,0,0]
6 -> [0,0,0,0,0,0,1,0,0,0]
7 -> [0,0,0,0,0,0,0,1,0,0]
8 -> [0,0,0,0,0,0,0,0,1,0]
9 -> [0,0,0,0,0,0,0,0,0,1]

如果我们使用tanh激活函数，需要把0替换成-1。

Range Normalization
对于实数数据或者有序分类（类别可以排序）的数据，我们可以使用range标准化，也就是将input数据的range映射到激活函数的range。比如，Sigmoid的range是0到1，tanh的range是-1到1。
range标准化的公式：

range_normalization.png

range_denormalization.png

Z-Score Normalization
Z-score是针对实数数据或者有序分类数据最常用的normalization方法。Z-score的计算公式如下：

mean.png

sd.png

z-score.png

Evaluation

训练神经网络的目标是让网络的output更加接近我们的期望值，下面我们来学习如何评价神经网络的output。

二元分类（Binary Classification）问题
二元分类实际上就是二选一的问题，比如 true or false, yes or no, correct or incorrect。处理此类问题的神经网络一般只有一个输出神经元，输出的是input属于某一类（比如true）的概率p。由于只有2个类别，且概率之和为1，所以属于另一类（false）的概率就是1-p。概率p是一个从0到1的值，当p大于某个cutoff（比如0.5）的时候，我们就认为input属于true类，小于cutoff就认为input属于false类。这个世界上没有完美的事物，所以我们在做判断的时候总会出现错误。如果真实情况是false，而我们预测结果是true，就犯了假阳性（False Positive，type-1）错误；如果真实情况是true，而我们的预测结果是false，就犯了假阴性（False Negative，type-2）错误。

在二元分类问题中还有2个重要指标：

1. 敏感性（Sensitivity）或者称为真阳性率（True Positive Rate)，TPR=TP/(TP+FN）
2. 特异性（Specificity）或者称为真阴性率（True Negative Rate)，TNR=TN/(TN+FP）

敏感性和特异性就像鱼肉和熊掌一样不可兼得，提高特异性的时候，敏感性降低；提高敏感性的时候，特异性降低。

sensitivity_vs_specificity.png

我们在评价模型的时候不能片面地追求某一个指标，比如我们在检测某种疾病的时候，如果把所有人都诊断为阴性（就不会有假阳性，FP=0），特异性就会达到100%,；如果把所有人都诊断为阳性（就不会有假阴性，FN=0），敏感性也会达到100%，而这些都是毫无意义的。

我们可以使用总体预测率（Total Prediction Rate）来综合考虑敏感性和特异性：

total_prediction_rate.png

也可以使用ROC（Receiver Operator Characteristic）曲线来可视化敏感性和特异性的关系：

ROC.png

多元分类（Multi-Class Classification）问题
我们可以使用log loss来评估多元分类器的性能。二元分类可以看成是多元分类的一个特例，所以我们先看如何用log loss来处理二元分类问题，然后扩展到多元分类。

Log Loss的公式：

log_loss.png

N表示训练集中元素的个数
y-hat表示模型的预测（概率值）
y表示已知的正确答案（1或0，不是概率）
假设我有A和B两个类，训练集中第一个元素的类别是A（y=1），分类器预测是A的概率为80%（y-hat=0.8），我们可以这样计算：1×log(0.8) + (1-1)×log(1-0.8) = log(0.8)。按照同样的方法依次计算训练集中所有的元素，然后求平均值。由于对概率值取log得到的是负数，所以我们还要给平均值乘以-1，这样我们的log loss就是一个正数。假设我们预测的准确率为100%，log loss就等于0（-log(1)=0），因此，我们在训练的时候就需要最小化log loss值。

只要理解了上面的公式，再看多元分类的log loss就易如反掌了：

multi-class_log_loss.png

M表示的是类别的数目，其他的和前面的公式一样。
假设我有A，B，C三个类，训练集中第一个元素的类别是A，分类器预测是A的概率为60%（y-hat1=0.6），B的概率为30%（y-hat2=0.3），C的概率为10%（y-hat3=0.1），我们可以这样计算：1×log(0.6) + 0×log(0.3) + 0×log(0.1) = log(0.6)。按照同样的方法依次计算训练集中所有的元素，然后求平均值，再乘以-1。

回归（Regression）问题
均方误差（Mean Squared Error, MSE） 是评估回归模型的最常用的方法。

MSE.png

参考文献

1. Jeff Heaton. AIFH, Volume 3: Deep Learning and Neural Networks, 2015

qrcode.jpg