感知机对应于输入空间中将实例划分为正负梁磊的分离超平面，属于判别模型。
感知机
基础神经网络，其实就是多层感知机……
感知机模型
感知器要解决的问题是二分类（很简单），对于输入的实例，感知机要给出其正确的分类，而总的分类只有两个，正例和负例。
数学上来说，输入空间是，输出空间为
。输入
表示实例的特征向量，输出
表示实例的类别。这样的一个函数：
这里的函数是符号函数。
从解析的角度来说，感知机作为一个函数，以实例为自变量产生一个+1或者-1的结果，从而实现分类。
从几何上来理解，感知机就是输入空间中的一个超平面，之所以是“超”，因为输入空间常常是高维的。这个超平面把整个空间一分为二，从而对空间中的点（实例）进行分类。
由解析几何，超平面的方程是：
这里，是平面法向量，
是截距。
对于超平面上方的点，有：
而对于超平面下方的点，有：
感知机学习策略
我们需要一个损失函数来度量模型的好坏，或许可以使用误分类点的总数来作为损失函数，当损失函数值为零时，所有的点就都被正确分类了，但是，这个函数很显然不是关于的可导函数，那么也就没办法用梯度下降函数来找到它的最小值了。
我们选择另外一种方式来定义损失函数。
我们选择从误分类点到超平面的总距离来度量。
在输入空间中，任何一点到超平面的距离是：(话说这玩意不就是几何间隔和函数间隔)
就是向量
的模（或者叫长度、
范数）。对于误分类的点
来说：
所以我们可以去掉距离表达式中的绝对值：
作为一个方向向量，可以直接丢掉，我们得到损失函数的表达式：
其中为误分类点的集合。
是关于
的连续可导函数，于是就可以使用梯度下降了。
感知机学习算法
损失函数的梯度：
那么，我们就得到一个可以直接写在代码中的赋值表达式，通过这个表达式来更新的值，从而找到正确的分类超平面：
是学习率，用来调节梯度下降的步长。
最后，给出算法的描述：
1. 选取初始值
2. 在训练集中选取数据
3. 如果
4. 转至第二步，循环直至训练集中没有误分类点
感知机学习算法的对偶形式
假定
已知：
中
代表对第
个样本的学习次数，感知机对偶形式的完整形式即为(6)式：
1. 选取初始值
2. 在训练集中选取数据
3. 如果
4. 转至第二步，循环直至训练集中没有误分类点
如果留意的话，会发现只会增加。别担心，大家都在一起增长。
