我们的SVM算法在前面的十讲中已经基本介绍完毕了,现在还剩下两个小问题,一个是SVM的损失函数问题,一个是求解α的SMO算法。这一讲我们先来介绍一下SVM的损失函数。
1、Hinge损失函数
首先我们来看什么是合页损失函数(hinge loss function):
下标”+”表示以下取正值的函数,我们用z表示中括号中的部分:
也就是说,数据点如果被正确分类,损失为0,如果没有被正确分类,损失为z。
合页损失函数如下图所示:
2、SVM损失函数
SVM的损失函数就是合页损失函数加上正则化项: