本期作业主要涉及深度学习中的几个技巧：L1, L2正则化以及dropout。
1. L1, L2正则化
1.1 正则化的概念
在机器学习中，正则化的主要目的是防止训练出现过拟合的情况。当我们采用经验风险最小化(Empirical Risk Minimization, ERM, 如极大似然估计）原则来优化模型时，如果样本容量不够大，模型很容易学习到数据的一些无关特征（噪声等），造成过拟合的现象。结构风险最小化(Structural Risk MInimization, SRM)就是针对过拟合问题而提出的策略。SRM等价与于正则化, 即在ERM的损失函数上加上表示模型复杂度的正则化项(regularization).可以用如下公式表示：
这里第一部分是经验风险，即通常意义上的误差函数； 是正则化项，代表模型的复杂度；
是系数， 用来权衡经验风险和模型复杂度。加入正则化项后，我们使用结构风险最小化的策略来优化模型：即预测结果需要（1）中的第一项和第二项同时小，才能获得较好的预测精度，有效地防止了因模型复杂度太高而导致的过拟合问题。
1.2 L1 和L2正则化
1.2.1 概念
L1和L2正则化是最常用的正则化方法。网上关于这两种方法的介绍很多，下面按照PRML(<<Pattern Recognition and Machine learning>> )一书中的思路来解释一下这两种正则化的方法。
考虑一个多项式回归问题，待回归函数为:
当我们使用经验误差最小化的方法来解决回归问题，其平方误差函数为
一般来说，我们会在误差项上加入一个惩罚项（正则化项）来防止过拟合，如式(4)中所示：
其中为(3)中的经验风险函数
.
当时，正则化项是参数
的L1范数时，称之为L1正则化；当
时，正则化项是参数
的L2范数时，称之为L2正则化，
在线性回归问题中，L1正则化又称为Lasso回归；L2正则化，又称为Ridge回归。
1.2.2 L1正则化和权值稀疏
L1正则化可以使得学到的模型权值矩阵较为稀疏，有助于特征选择，去除无用特征。下面介绍其原理。
最小化结构风险(4)相当于在正则化项不超过一个门限值的前提下最小化经验风险
.即：
假设是二维函数，即
.我们画出经验损失函数
和L1损失项
的图像如下：
由图1所示，蓝色的线表示的等值线，在原点处的图形表示正则化项的图像：
左图表示L2正则化, 右图表示L1正则化项. 当的等值线第一次和正则化项的轮廓相交时，结构风险(4)达到最小值。 我们可以看到，当时，正则化项的图像是一个矩形，其最小值在轴上取到，即。这是在二维空间中的情况，当我们扩展到高维空间时，会有更多的分量为0，因此采用L1正则化后学习得到的参数是一个很多分量为0的稀疏矩阵。至于L2正则化，正则化项的图像是一个圆形，和等值线的交点一般不会在坐标轴上，降低了分量为0的可能性，因此不具备稀疏性的特征。
1.2.2 L2正则化和权值衰减
如果采用梯度下降法进行线性回归，则权值更新的公式为：
其中为正则化项。当采用L2正则化时，公式(7)中的导数项为
的一次函数。每次更新权值时，相当于从原有的
中移除了
,使得
向着0靠近。因此L2正则化又被称为权值衰减(weight decay).
2. Dropout(随机失活)
2.1 dropout简介
Dropout是神经网络中一个正则化方法，能够有效地防止过拟合的情况。dropout的具体方法如下：在训练阶段，随机地以概率让一部分神经元激活，另一部分神经元被“丢弃”； 在测试阶段，每一个单元的输出要乘以
，来得到相同scale的输出。如图2和图3所示：
2.2 inverted dropout
在目前的深度学习研究中，另外一种反向dropout (inverted dropout)方法更为流行，具体做法为：
- 在训练，执行了dropout的层，其输出激活之要除以
- 在测试阶段不执行任何操作
其实传统的dropout和inverted dropout在数学原理上是一样的，采用inverted dropout的优点是可以不用改动测试阶段的网络结构。一般来说在测试阶段，网络已经训练好了，为了更快的得到测试结果，把dropout的操作放在训练过程，更有实用意义。而且inverted dropout只有训练阶段需要调整参数，而传统dropout在训练和测试两个阶段都要同时调整参数
，比较麻烦。
2.3 dropout为什么能够防止过拟合
关于dropout为什么有效，有两种观点可以解释
ensemble learning
dropout相当于ensemble learning的机制。每次dropout后得到的模型都不同，相当于每次训练一个不同的网络。最后将不同的模型进行ensemble, 可以有效地防止过拟合。减少神经元之间复杂的共适应关系
dropout强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，减弱了神经元节点间的联合适应性，迫使网络去学习更加鲁棒的特征，增强了泛化能力。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其它线索中学习一些共同的模式。从这个角度看，dropout类似于L1正则化，使某些权重为0从而可以学习更加鲁棒的特征。
参考文献
[1] <<Pattern Recognition and Machine Learning>>, C. M. Bishop
[2] 百度百科，“随机失活”词条
[3] https://blog.csdn.net/stdcoutzyx/article/details/49022443
