本文将在 DL 共轭梯度法的基础上,介绍 HZ 共轭梯度法。这是由 Hanger-Zhang 于 2005 年提出的一种非常经典的共轭梯度法。我们所创新的共轭梯度法都会于 HZ 共轭梯度法进行数值实验对比,所以 HZ 的理论分析就显得尤为重要了。
1、介绍
我们的问题是处理一个维变量问题
其中是光滑的且是可以得到的。共轭梯度法是非常有用的处理问题当非常大时,其有如下形式:
Hanger-Zhang 提出如下参数
为建立对一般函数的收敛性理论,我们取
其中为常数
2、一般性分析
定理 1:若假定和
其中,则有
证明:因为,故式显然成立。假定,利用式,有
我们应用不等式
在中应用
所以式成立。如果,则,利用式,有
若,式显然成立。如果,则
因为。因此,式也成立。证明完毕。
根据式,的非负的,且
因此,由和式给出的方向为充分下降方向。
3、一致凸函数的收敛性分析
尽管由 HZ 共轭梯度法形成的方向一定是充分下降方向,但是我们还是需要考虑线搜索建立全局收敛性。我们考虑条件
其中和,或者考虑线搜索
其中,这里我们并不需要强线搜索就可建立全局收敛性。
定理 2:如果是下降方向和满足连续
其中为常数,如果线搜索满足条件,则
如果线搜索满足条件,则
证明:对式利用中值定理和连续
其中,很容易推出。
对利用连续,有
因为是下降方向且,故成立。
定理 3:假定在水平集上为一致凸函数和满足连续,水平集定义为
即存在和使得
对任何都成立。如果共轭梯度法使用线搜索满足或者线搜索,则要么对某个有或者
证明:假定对所有的都有,利用强收敛性假定
利用 定理 1 假定暗示,因为,利用知道。因为在水平集上是有界的。则
结合 定理 1 和 定理 2,我们有
利用条件,有
利用有
因此,我们有
由可以看出有上界,利用式,有
从而式成立。
4、一般函数的收敛性分析
定理 4:若水平集有界和连续成立,如果共轭梯度法选择线搜索和,则有
和
其中而且假定。
证明:利用假定和下降条件,可知成立。且利用充分下降条件和条件,有
定义等式
根据和的定义
因为是单位向量,故有
由于,则
根据的定义和以及式中,我们可以得到的分子有界。
其中
我们令,利用,则有
利用和式,则命题得证。
定理 5:若水平集有界和连续成立,如果共轭梯度法选择线搜索和,则或者对某个使得,或者
证明:我们首先假定
否则,稳定点已经得到。下面的证明分为三步
(i):有界
通过线搜索可知,我们有
由 定理 1 和可知
结合和有
一方面,有
另一方面,利用线搜索知
因为,结合有
利用和有
通过式中的定义,有
因此对任意的都成立,利用以及上面的分析,有
其中
(ii):步长的界
对于任意的,有
利用三角不等式
选择正整数,使其充分大
其中为和中的定义,选择充分大的使其满足
如果和,则
结合有
其中且。
(III)、证明有界
证明略,本人也没有看的太懂,只是其实可以参考 PRP 或者 DL 的证明,也没有必要这么证明,所以就不想看了。不管怎样,Hanger-Zhang 共轭梯度法还是非常经典的共轭梯度法。
5、参考文献
[1] Hager W W, Zhang H C. A new conjugate gradient method with guaranteed descent and an efficient line search, SIAM Journal on Optimization, 2005, 1(16) : 170-192.