Deep Residual Learning for Image Recognition原文链接：https://arxiv.org/pdf/1512.03385.pdf
残差网络(ResNet)是微软亚洲研究院的何恺明、孙剑等人2015年提出的，它解决了深层网络训练困难的问题。利用这样的结构我们很容易训练出上百层甚至上千层的网络。
要理解ResNet首先要理解网络变深后会带来什么样的问题。增大网络深度 后带来的第一个问题就是梯度消失、爆炸，这个问题在Szegedy提出BN(Batch Normalization)结构后被顺利解决，BN层能对各层的输出做归一化，这样梯度在反向层层传递后仍能保持大小稳定，不会出现过小或过大的情况。加了BN后再加大深度是不是就很容易收敛了呢？答案仍是否定的，作者提到了第二个问题--准确率下降问题(degradation problem)：层级大到一定程度时准确率就会饱和，然后迅速下降，这种下降即不是梯度消失引起的也不是overfit造成的，而是由于网络过于复杂，以至于光靠不加约束的放养式的训练很难达到理想的错误率。degradation problem不是网络结构本身的问题，而是现有的训练方式不够理想造成的。当前广泛使用的训练方法，无论是SGD，还是AdaGrad，还是RMSProp，都无法在网络深度变大后达到理论上最优的收敛结果。我们还可以证明只要有理想的训练方式，更深的网络肯定会比较浅的网络效果要好。证明过程也很简单：假设在一种网络A的后面添加几层形成新的网络B，如果增加的层级只是对A的输出做了个恒等映射(identity mapping)，即A的输出经过新增的层级变成B的输出后没有发生变化，这样网络A和网络B的错误率就是相等的，也就证明了加深后的网络不会比加深前的网络效果差。
何恺明提出了一种残差结构来实现上述恒等映射(图1)：整个模块除了正常的卷积层输出外，还有一个分支把输入直接连到输出上，该输出和卷积的输出做算术相加得到最终的输出，用公式表达就是H(x)=F(x)+x，x是输入，F(x)是卷积分支的输出，H(x)是整个结构的输出。可以证明如果F(x)分支中所有参数都是0，H(x)就是个恒等映射。残差结构人为制造了恒等映射，就能让整个结构朝着恒等映射的方向去收敛，确保最终的错误率不会因为深度的变大而越来越差。如果一个网络通过简单的手工设置参数值就能达到想要的结果，那这种结构就很容易通过训练来收敛到该结果，这是一条设计复杂的网络时百试不爽的规则。回想一下BN中为了在BN处理后恢复原有的分布，使用了y=rx+delta公式， 当手动设置r为标准差，delta为均值时，y就是BN处理前的分布，这就是利用了这条规则。
作者使用了ImageNet和CIFAR两种数据来证明ResNet的有效性：
首先是ImageNet，作者比较了相同层数的ResNet结构和传统结构的训练效果。图2左侧是一个传统结构的VGG-19网络(每个卷积后都跟了BN)，中间是传统结构的34层网络(每个卷积后都跟了BN)，右侧是34层的ResNet(实线表示直连，虚线表示用1x1卷积进行了维度变化，匹配输入输出的特征数)。图3是这几种网络训练后的结果，左侧的数据看出传统结构的34层网络(红线)要比VGG-19(蓝绿色线)的错误率高，由于每层都加了BN结构，所以错误高并不是由于层级增大后梯度消失引起的，而是degradation problem造成 ；图3右侧的ResNet结构可以看到34层网络(红线)要比18层网络(蓝绿色线)错误率低，这是因为ResNet结构已经克服了degradation problem。此外右侧ResNet 18层网络最后的错误率和左侧传统18层网络的错误率相近，这是因为18层网络较为简单，即使不用ResNet结构也可以收敛到比较理想的结果。
像图4左侧那样的ResNet结构只是用于较浅的ResNet网络，如果网络层数较多，靠近网络输出端的维度就会很大，仍使用图4左侧的结构计算量就会极大， 对较深的网络我们都使用图4右侧的bottleneck结构，先用一个1x1卷积进行降维，然后3x3卷积，最后用1x1升维恢复原有的维度。
作者还用CIFAR10数据来测试，结论和ImageNet基本相同。但因为CIFAR10样本少，层数增大到1202层时会因为overfit造成错误率提升。
总结：ResNet是一种革命性的网络结构，不在局限于inception-v2~v3的小修小补，而是从一种全新的残差角度来提升训练效果。个人认为它的影响力要远大于之前提出的inception v2和v3，之后发表的inception-v4、DenseNets和Dual Path Network都是在此基础上的衍生，不夸张地说ResNet开启了图像识别的一个全新的发展发向。
