一、最优化理论研究什么问题
1、无约束最优化
2、带约束最优化
即研究的是函数最小化问题。（举例说明）
二、最优化方法的基本处理结构：
1、选定初始点
2、确定搜索方向 ,依照一定规则，构造
在
点处的下降方向作为搜索方向。
3、确定步长因子 ，使目标函数值有某种意义的下降
4、令 , 若
满足某种终止条件，则停止迭代，得到最优解，否则重复（2）步骤。
三、如何确定下降方向
1、考虑二次式
（问题：为什么是二次式呢？）
2、二次式的可视化
令上式中
3、应用梯度方法找出下降方向
问题1：是不是沿梯度下降的方向去选择方向就最好呢？——The Steepest Descent
问题 2：最优点有什么性质？
4、对于二次型有
5、找出下降的步长
1）精确步长（精确一维线性搜索）
2）近似步长（不精确）
6、常见最优化方法
1）最速下降法
2）牛顿法
3）共轭梯度法
4）拟牛顿法
