naiveBayes

朴素贝叶斯法(Naive Bayes)

本文基于李航的【统计学习方法】第五章 朴树贝叶斯法，包含代码讲解。

朴素贝叶斯法是基于贝叶斯定力和特征条件独立假设的分类方法。

朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的手法。

1 朴素贝叶斯法的学习与分类

输入空间为n维向量的集合。

输出空间

训练集:

由独立同分布产生

在朴素贝叶斯法中，需要记住2个重要概念，先验概率和条件概率。

• 先验概率，即

• 条件概率，即

其中条件概率分布有指数级数量的参数，其估计实际是不可行的。For 的可能取值共有个，，的可能值有个，那么参数的个数是

这里提出重要假设 条件独立性假设，这也是朴素贝叶斯法的名字的来源。此时，

我们想要求得的是后验概率

即已知新的实例时，是各个类的概率。取最大可能性的类为的类。

到此处为贝叶斯定理，将条件概率代入此式，

这是朴素贝叶斯法分类的基本公式。则朴素贝叶斯分类器可表示为

分母对所有都相同，所以

2 参数估计

在朴素贝叶斯法里，学习意味着估计和。有2种估计方法，包括极大似然估计和贝叶斯估计， 其中极大似然估计可以看作是贝叶斯估计的一个特例。

2.1 极大似然估计

先验概率：

条件概率：设第个特征的可能取值集合是，条件概率的极大似然估计：

其中。为指示函数。

2.2 算法

1 计算先验概率

2 计算条件概率，共个条件概率

3 对于给定实例计算

4 确定类

2.3 例

样本

可见的取值集合是,的取值集合是,的取值集合是。

共需要计算2个先验概率，和个条件概率。

,

,,

,,

,,

,,

对于给定实例,

所以。

代码

import numpy as np

from collections import Counter #导入Counter用来计数，Counter返回一个字典

#载入数据

def loadDataSet():

    x_1 = [1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 3]

    x_2 = ['S', 'M', 'M', 'S', 'S', 'S', 'M', 'M', 'L', 'L',

          'L', 'M', 'M', 'L', 'L']

    Y = [-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1]

    return x_1, x_2, Y

x_1, x_2, Y = loadDataSet()

#前期计算先验概率和条件概率

def Train(x_1, x_2, Y):

    x_1_class = Counter(x_1)#返回字典

    x_2_class = Counter(x_2)

    Y_class = Counter(Y)

    priorProb = {}

    condintionalProb = {}

    #先验概率

    for i in Y_class.keys():

        priorProb[str(i)] = Y_class[i]/len(Y)

    #条件概率  第一个特征量的各个可能值的条件概率

    for i in x_1_class.keys():

        for j in Y_class.keys():

            for l in range(len(x_1)):

                if x_1[l] == i and Y[l] == j:

                    condintionalProb['feature'+str(i)+' ; '+'label'+str(j)] = condintionalProb.get('feature'+str(i) +' ; '+'label'+str(j), 0) +1

            condintionalProb['feature'+str(i)+' ; '+'label'+str(j)] /= Y_class[j]

    #条件概率  第二个特征量的各个可能值的条件概率

    for i in x_2_class.keys():

        for j in Y_class.keys():

            for l in range(len(x_1)):

                if x_2[l] == i and Y[l] == j:

                    condintionalProb['feature'+str(i)+' ; '+'label'+str(j)] = condintionalProb.get('feature'+str(i) +' ; '+'label'+str(j), 0) +1

            condintionalProb['feature'+str(i)+' ; '+'label'+str(j)] /= Y_class[j]

    return priorProb, condintionalProb

A, B = Train(x_1, x_2, Y)

#对于新的实例点进行预测

def predict(priodProb, conditonalProb, X):

    Prob = {}

    for i in priodProb.keys():

        Prob[i] = priodProb[i]*conditonalProb['feature'+str(X[0])+' ; '+'label'+str(i)]*conditonalProb['feature'+str(X[1])+' ; '+'label'+str(i)]

    #选出可能性最大的

    maxCount = 0

    for key, value in Prob.items():

        if value > maxCount:

            maxCount = value

            maxIndex = key

    return Prob, maxCount, maxIndex

a, b, c = predict(A, B, [2, 'S'])

在这里关于条件概率生成的部分给出一个进阶版，更符合python的禅的 字典生成式 from 小海豚～～大力推荐。

dictionary

2.4 贝叶斯估计

用极大似然估计可能会出现估计的概率值为0的情况，这时会影响到后验概率的计算结果，使分类产生偏差。为了解决这一问题，可采用贝叶斯估计。

先验概率的贝叶斯估计：

条件概率的贝叶斯估计：

其中，等价于在随机变量各个取值的频数上赋予一个非负数。

且当时，即为极大似然估计。

当时，成为拉普拉斯平滑(Laplace smoothing)。