本节讲述高级优化算法和一些高级优化概念,使用这些方法会使我们逻辑回归算法的速度更快,能更好的解决大型的机器学习问题。
梯度下降算法:
其他的算法:
共轭梯度法(Conjugate gradient);
BFGS算法;
L-BFGS算法。
这些算法优点是不需要我们手动的选择α;速度快于梯度下降法。缺点是复杂。
所以我们只需要会使用它们,而不需要深究其中的原理。
在Octave中使用这些算法的例子:
初始化的θ维度要大于等于2。
当我们使用fminunc函数的时候,Octave会自动的帮我们挑选出合适的高级算法去计算,我们不需要深究其中的细节,只需要会用即可。在一些大型的逻辑回归问题中,我们需要使用这些数值算法帮助我们优化运行速度。