感知机是一个简单的二分类线性模型,在机器学习中是一个十分基础的知识,它是很多算法,逻辑回归,支持向量机,神经网络等的起源。
具体可参考:1. 感知机原理(Perceptron) - hyc339408769 - 博客园
作者应该是参考李航的统计学习方法加上自己的见解,我觉得写得很好了~
需要注意的几个点:
1.样本输入感知机模型后,与权值、偏置一起计算得到结果后,输入到符号函数中分为两类,大于0为+1类,小于0为-1类。
2.损失函数;
3.极小化损失函数,求的权值和偏置;
使用随机梯度下降法,因为在感知机中只有错误分类的样本会产生误差,因此采用批量梯度下降是不合适的,使用随机梯度下降法,在训练中:我们遇到一个分类正确的样本就继续下一个样本;遇到一个分类错误的样本,就使用梯度下降更新参数;直到没有误分类的样本,结束。
4.线性可分、线性不可分
对一个线性可分的问题,感知机模型的迭代是收敛的,并且会存在很多的解,即存在很多可以将样本完全分开的超平面(想要得到唯一的超平面,就是支持向量机的思路了)。
对线性不可分的问题,迭代到最后是不收敛的,结果会发生振荡,表现在图像上就是超平面不断变化不能确定。(因为感知机结束迭代的条件不是误差达到足够小而是全部分类正确)