深度学习里的一些优化算法

1.引言

（本文参考AI圣经《深度学习》一书，仅作为学习交流）

本文梳理SGD，标准动量SGD，Nesterov动量SGD算法，以及Adagrad, AdaDelta，Adam，RMSProp，Nesterov动量RMSProp自适应学习率算法

在深度学习中我们定义了损失函数以后，会采取各种各样的方法来降低损失函数。不过损失函数的数值只是我们用来优化模型中参数的一个参考量，我们是通过优化损失函数来间接地优化模型参数，并提高模型的度量指标。假设我们需要优化的目标函数为

$J(\theta)$

$J(\theta)=E_{(x,y)\hat{p}_{data}}L(f(x;\theta),y)$

其中

是每个样本的损失函数，

是输入

$f(x;\theta),y)$

时所预测的输出，

是目标输出，

是训练集上的经验分布。但理论上希望

$\hat{p}_{data}$

是真实的数据生成分布。在机器学习中，我们用经验分布来代替真实分布，毕竟你无法收集到所有的样本数据，而是仅采用训练集进行训练。但我们仍然不知道数据的分布是怎么样的，我们只能通过求期望，并将期望损失最小化来将这个机器学习问题转换为一个优化问题。我们优化的目的就是为了最小化经验风险：

$p_{data}$

$E_{(x,y)\hat{p}_{data}}L(f(x;\theta),y)=\frac{1}{m}\sum^{m}_{i=1}L(f(x^{(i)};\theta),y^{(i)})$

其中

是训练样本的数目。

基于这种最小化平均训练误差的训练过程被称为经验风险最小化。

2. 批量算法和小批量算法

在深度学习的训练中，训练集中的样本数量往往是成千上万的，通过遍历每一个样本对期望进行计算所需要的计算量是非常大的。在实际中，往往是在训练集中少量采样一些数据拿来计算，然后求出这些样本的平均值。

实际上可以找到两个理由来支撑为何采用小批量算法：

第一，n个样本的均值的标准差是

，其中

$\sigma/\sqrt{n}$

是样本值真实的标准差。分母

$\sigma$

说明样本数量的贡献是低于线性的，可以算一下，我们用100个样本和用10000个样本来计算均值标准差，多用了100倍的数据，却只降低了10倍的标准差。如果能够迅速求出估计值，而不是缓慢计算准确值，会加快算法的收敛速度。

$\sqrt{n}$

第二，训练集中经常会存在冗余的情况，完全有可能出现相同数据，如果重复了m次，那么用小批量算法就可以少花m倍的时间。

3. SGD算法与引入动量的SGD算法

3.1 SGD算法

随机梯度下降法（SGD）是一种非常经典的优化算法，常应用在机器学习中，尤其是深度学习中。首先从训练集中随机选取m个样本的生成得到一个小批量，然后计算他们的梯度均值。

算法:SGD在k个训练迭代的参数更新

输入：学习率

$\epsilon_k$

输入：初始参数

$\theta$

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算梯度估计：

$\hat{g}\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},\theta),y^{(i)})$

更新参数：

$\theta\leftarrow \theta-\epsilon\hat{g}$

end while

SGD中的超参数是学习率，在实际的训练中，我们需要逐步地降低学习率，因此将第

步的学习率记为

，通常采用指数衰减的策略对学习率进行调整。

$\epsilon_k$

3.2 动量SGD算法

动量是一个物理学中类比过来的概念，它是为了解决经典的SGD收敛速度慢的问题而提出的。它能够保留上一轮更新中的参数更新增量，并加入该轮的梯度。

参数更新变为：

$\theta \leftarrow \theta+v$

的更新为：

$v \leftarrow \alpha v-\epsilon \nabla_{\theta}J(\theta)$

其中

是动量参数，

$\alpha$

是当前轮次计算得到的梯度。

$\nabla_{\theta}J(\theta)$

可以发现参数

更新不再是仅仅加上梯度变化

$\theta$

，而是加了个速度

$\hat{g}=\nabla_{\theta}J(\theta)$

，这个

就表示引入的动量元素，通过式子也可以看出来：第一，它可以保留上一次的梯度信息，通过动量参数

来控制上一次的更新量对本次更新量的影响，注意到它是一个非负项，所以它起到了“惯性”的作用，上一次的增量大则带给本次更新的增量影响就大；如果上一次的增量小，那么它带给本次更新的增量影响就小。

$\alpha$

可以对SGD算法和动量SGD算法进行对比：

经典SGD算法：

1.直接用梯度更新参数

$\theta$

$\theta\leftarrow \theta-\epsilon\hat{g}$

动量SGD算法：

计算速度

更新. 2. 利用速度

来更新参数

$\theta$

$\begin{aligned} &v \leftarrow \alpha v-\epsilon \hat{g}\\ &\theta\leftarrow \theta+v \end{aligned}$

给出动量SGD算法流程如下：

算法:引入动量的SGD在k个训练迭代的参数更新

输入：学习率

，动量参数

$\epsilon$

$\alpha$

输入：初始参数

,初始速度

$\theta$

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算梯度估计：

$\hat{g}\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},\theta),y^{(i)})$

计算速度更新：

$v \leftarrow \alpha v-\epsilon \hat{g}$

更新参数：

$\theta\leftarrow \theta+v$

end while

3.3 Nesterov动量SGD算法

Nesterov动量SGD算法与标准动量算法类似，只不过在计算梯度前对参数

进行了校正。使得在计算梯度之前给参数

$\theta$

加上一个动量因子，而不是原模原样地把上一次的

$\theta$

拿来求解梯度。可以做一下对比：

$\theta$

标准动量SGD算法中的梯度估计：

1.直接用上一次更新得到的

求梯度

$\theta$

$\hat{g}\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},\theta),y^{(i)})$

Nesterov动量SGD算法中的梯度估计：

1.用上一次更新得到的

先求一个临时参数.

$\theta$

2.用临时参数求梯度.

$\begin{aligned} &\widetilde{\theta}\leftarrow \theta+\alpha v\\ &\hat{g}\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},\widetilde{\theta}),y^{(i)})\\ \end{aligned}$

给出Nesterov动量的SGD算法流程如下：

算法:引入Nesterov动量的SGD在k个训练迭代的参数更新

输入：学习率

，动量参数

$\epsilon$

$\alpha$

输入：初始参数

,初始速度

$\theta$

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算临时参数：

$\widetilde{\theta}\leftarrow \theta+\alpha v$

计算梯度估计：

$\hat{g}\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},\widetilde{\theta}),y^{(i)})$

计算速度更新：

$v \leftarrow \alpha v-\epsilon \hat{g}$

更新参数：

$\theta\leftarrow \theta+v$

end while

4.自适应学习率算法

学习率本身就是很难调试的一个超参数，这是工业界公认的事情。动量算法只能在一定程度上缓解调参的压力，但代价是多引入了一个超参数。总有人会想有没有更简便的方法，于是就提出来了Adagrad, AdaDelta, Adam, RMSProp, 动量RMSProp等自适应学习率算法。本节梳理各个算法流程，并进行对比。

4.1Adagrad算法

算法:Adagrad算法

输入：全局学习率

$\epsilon$

输入：初始参数

$\theta$

输入：小常数

，为了数值稳定大约设置为

$\delta$

$10^{-7}$

初始化梯度累积量

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算梯度估计：

$g\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},{\theta}),y^{(i)})$

累积平方梯度：

$r \leftarrow r+g \odot g$

计算参数更新量：

$\Delta \theta \leftarrow-\frac{\epsilon}{\delta+\sqrt{r}}\odot g$

更新参数：

$\theta\leftarrow \theta+\Delta \theta$

end while

Adagrad算法可以说是与SGD算法的框架非常像了，我们来对比一下区别之处：

SGD算法中的参数更新：

1.直接用梯度来更新参数

$\theta$

$\theta\leftarrow \theta-\epsilon g$

Adagrad算法中的参数更新：

1.梯度累积变量与梯度内积累加得到累积平方梯度.

2.利用累积平方梯度计算参数更新量

。

$\Delta \theta$

3.利用参数更新量

更新参数

$\Delta \theta$

$\theta$

$\begin{aligned} &r \leftarrow r+g \odot g\\ &\Delta \theta \leftarrow-\frac{\epsilon}{\delta+\sqrt{r}}\odot g\\ &\theta\leftarrow \theta+\Delta \theta \end{aligned}$

4.2 AdaDelta

算法:AdaDelta算法在第k轮的迭代

输入：衰减率

, 全局学习率

$\rho$

$\epsilon$

输入：初始参数

$\theta_k$

初始化梯度累积量

$E[g^2]_0=0,E[\Delta \theta ^2]_0=0$

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算梯度：

$g_k \leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},{\theta}),y^{(i)})$

累积梯度平方期望：

$E[g^2]_k \leftarrow \rho E[g^2]_{k-1}+(1-\rho)g^2_k$

计算参数更新量：

$\Delta \theta_k \leftarrow-\frac{ \sqrt{E[\Delta \theta^2]_{k-1}+\epsilon}}{\sqrt{E[g^2]_k+\epsilon}}g_k=\frac{RMS[\Delta \theta]_{k-1}}{RMS[g]_{k}}g_k$

缓存累积更新：

$E[\Delta \theta^2]_k \leftarrow \rho E[\Delta \theta^2]_{k-1}+(1-\rho)\Delta \theta^2$

更新参数：

$\theta_{k+1}\leftarrow \theta_k+\Delta \theta_k$

end while

AdaDelta算法是adagrad算法的延伸和改进，他们的不同之处在于：

Adagrad算法中的参数更新：

1.梯度累积变量与梯度内积累加得到累积平方梯度.

2.利用累积平方梯度计算参数更新量

。

$\Delta \theta$

3.利用参数更新量

更新参数

$\Delta \theta$

$\theta$

$\begin{aligned} &r \leftarrow r+g \odot g\\ &\Delta \theta \leftarrow-\frac{\epsilon}{\delta+\sqrt{r}}\odot g\\ &\theta\leftarrow \theta+\Delta \theta \end{aligned}$

AdaDelta算法中的参数更新：

1.计算累积平方期望

2.计算参数更新量

$\Delta \theta_k$

3.缓存累积更新

$E[\Delta \theta^2]_k$

4.利用参数更新量

更新参数

$\Delta \theta$

$\theta$

$\begin{aligned} &E[g^2]_k \leftarrow \rho E[g^2]_{k-1}+(1-\rho)g^2_k \\ &\Delta \theta_k \leftarrow-\frac{ \sqrt{E[\Delta \theta^2]_{k-1}+\epsilon}}{\sqrt{E[g^2]_k+\epsilon}}g_k=\frac{RMS[\Delta \theta]_{k-1}}{RMS[g]_{k}}g_k\\ &E[\Delta \theta^2]_k \leftarrow \rho E[\Delta \theta^2]_{k-1}+(1-\rho)\Delta \theta^2\\ &\theta_{k+1}\leftarrow \theta_k+\Delta \theta_k\\ \end{aligned}$

4.3RMSProp算法

算法:RMSProp算法

输入：全局学习率

，衰减率

$\epsilon$

$\rho$

输入：初始参数

$\theta$

输入：小常数

，为了数值稳定大约设置为

$\delta$

$10^{-6}$

初始化梯度累积量

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算梯度估计：

$g\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},{\theta}),y^{(i)})$

累积平方梯度：

$r \leftarrow \rho r+(1-\rho)g \odot g$

计算参数更新量：

$\Delta \theta \leftarrow-\frac{\epsilon}{\sqrt{\delta+r}}\odot g$

更新参数：

$\theta\leftarrow \theta+\Delta \theta$

end while

RMSProp算法实际上对AdaGrad算法做出了改进，修改了累积平方梯度和参数更新量的计算方法，在非凸情况下比AdaGrad效果较好。

RMSProp算法和AdaGrad算法区别在于：

AdaGrad算法：

1.梯度累积变量与梯度内积累加得到累积平方梯度.

2.利用累积平方梯度计算参数更新量

。

$\Delta \theta$

$\begin{aligned} &r \leftarrow r+g \odot g\\ &\Delta \theta \leftarrow-\frac{\epsilon}{\delta+\sqrt{r}}\odot g\\ \end{aligned}$

RMSProp算法：

1.梯度累积变量与梯度内积累加得到累积平方梯度.

2.利用累积平方梯度计算参数更新量

。

$\Delta \theta$

$\begin{aligned} &r \leftarrow \rho r+(1-\rho)g \odot g\\ &\Delta \theta \leftarrow-\frac{\epsilon}{\sqrt{\delta+r}}\odot g\\ \end{aligned}$

4.3Nesterov动量RMSProp算法

算法:Nesterov动量RMSProp算法

输入：全局学习率

，衰减率

$\epsilon$

，动量系数

$\rho$

$\alpha$

输入：初始参数

, 初始速度参数

$\theta$

初始化梯度累积量

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算临时参数：

$\widetilde{\theta} \leftarrow \theta+\alpha v$

计算梯度估计：

$g\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},{\widetilde{\theta}}),y^{(i)})$

累积平方梯度：

$r \leftarrow \rho r+(1-\rho)g \odot g$

计算速度更新：

$v \leftarrow \alpha v-\frac{\epsilon}{\sqrt{r}}\odot g$

更新参数：

$\theta\leftarrow \theta+v$

end while

给出RMSProp算法与动量RMSProp算法的区别：

RMSProp算法：

1.梯度累积变量与梯度内积累加得到累积平方梯度.

2.利用累积平方梯度计算参数更新量

$\Delta \theta$

3.利用参数更新量

更新参数

$\Delta \theta$

$\theta$

$\begin{aligned} &r \leftarrow \rho r+(1-\rho)g \odot g\\ &\Delta \theta \leftarrow-\frac{\epsilon}{\sqrt{\delta+r}}\odot g\\ &\theta\leftarrow \theta+\Delta \theta \\ \end{aligned}$

Nesterov动量RMSProp算法：

1.计算临时参数

$\widetilde{\theta}$

2.利用临时参数计算梯度g$$

3.计算累积平方梯度

4.计算速度更新

5.利用速度更新参数

$\theta$

$\begin{aligned} & \widetilde{\theta} \leftarrow \theta+\alpha v\\ &g\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},{\widetilde{\theta}}),y^{(i)})\\ &r \leftarrow \rho r+(1-\rho)g \odot g\\ &v \leftarrow \alpha v-\frac{\epsilon}{\sqrt{r}}\odot g\\ &\theta\leftarrow \theta+v \\ \end{aligned}$

4.4Adam算法

算法:Adam算法

输入：全局学习率

（建议默认0.001）

$\epsilon$

输入：矩估计的指数衰减率，

在区间

$\rho_1,\rho_2$

内（建议默认0.9和0.999）

输入：用于数值稳定的小常数

(建议默认

$\delta$

)

$10^{-7}$

输入：初始参数

$\theta$

初始化一阶和二阶矩变量s=0, r=0

初始化时间步t=0

while 未满足停止条件 do

从训练集中采集包含m个样本

的小批量，其中数据

$\{x^{(1)},x^{(2)},...,x^{(m)}\}$

和对应目标

$x^{(i)}$

$y^{(i)}$

计算梯度：

$g\leftarrow \frac{1}{m}\nabla_{\theta}L(f(x^{(i)},{\theta}),y^{(i)})$

$t \leftarrow t+1$

更新有偏一阶矩估计：

$s \leftarrow \rho_1s+(1-\rho_1)g$

更新有偏二阶矩估计：

$r \leftarrow \rho_2r+(1-\rho_2)g\odot g$

修正一阶矩的偏差：

$\hat{s} \leftarrow \frac{s}{1-\rho^t_1}$

修正二阶矩的偏差：

$\hat{r} \leftarrow \frac{r}{1-\rho^t_2}$

计算更新量：

$\Delta \theta \leftarrow -\epsilon\frac{\hat{s}}{\sqrt{\hat{r}}+\delta}$

计算更新：

$\theta \leftarrow \theta+\Delta \theta$

end while

Adam算法与其他的优化算法相比，区别还是比较大的，在参数更新的过程中，首先计算了有偏一阶矩和二阶矩，然后修正一阶矩和二阶矩的偏差，再用修正后的一阶和二阶矩求解参数更新量，最后利用参数更新量对参数进行更新。

5.关于优化的二阶方法

前面提到的优化方法基本上都是利用一阶导数进行优化的方法，常用的二阶近似方法有：牛顿法，共轭梯度法，BFGS.以后有机会再来更新吧.

https://blog.csdn.net/u012759136/article/details/52302426

作者：吴金君

链接：https://www.jianshu.com/p/33eed2e1d357

來源：简书

简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 202,529评论 5赞 475
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,015评论 2赞 379
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 149,409评论 0赞 335
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,385评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,387评论 5赞 364
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,466评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,880评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,528评论 0赞 256
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,727评论 1赞 295
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,528评论 2赞 319
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,602评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,302评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,873评论 3赞 306
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,890评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,132评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,777评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,310评论 2赞 342

深度学习里的一些优化算法

推荐阅读更多精彩内容