〇、说明
凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的理解时有困惑,也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了,成此系列笔记。
如有错误疏漏,烦请指出。如要转载,请联系笔者,hpfhepf@gmail.com。
一、意义
回溯直线搜索是求解无约束凸优化问题中,调整搜索步长非常简单有效的方法,也是实际应用中常用的方法。[2]
考虑固定步长搜索,为防止迭代震荡,一般步长值很小,很多经验值取0.01,这就导致收敛速度过慢。
考虑精确直线搜索,其本身又是一个优化问题,如果这个优化问题很复杂,则这个搜索方法就是没有意义的。
相比以上两种调整搜索步长的方法,回溯直线搜索则简单高效很多。
二、回溯直线搜索
2.1、算法
2.2、算法解释
2.3、参数解释
附录
A、参考
[1]、《凸优化》,Stephen Boyd等著,王书宁等译
[2]、《最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?》
[3]、《回溯线搜索 Backtracking line search》
B、相关目录
凸优化(五)——回溯直线搜索
C、时间线
2016-08-08 第一次发布
2016-08-17 修改了一个错误公式,添加理解提醒