贝叶斯定理
设试验 E 的样本空间为 S，A 为 E 的事件，B_1,B_2,...,B_n为样本空间 S 的一个划分，且 P(A)>0,P(B_i)\geq0(i=1,2,...,n)，则有：
P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}
朴素贝叶斯算法
输入
- 训练集
T=\{(\overrightarrow{x}_1,y_1),(\overrightarrow{x}_2,y_2),...,(\overrightarrow{x}_N,y_N)\}
\overrightarrow{x}_i=(x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)})^T
x_{i}^{(j)}\in\{a_{j1},a_{j2},...,a_{js_j}\}
y_i\in\{c_1,c_2,...,c_K\}
i=1,2,...,N;j=1,2,...,n
- 实例
\overrightarrow{x}=(x^{(1)},x^{(2)},...,x^{(n)})^T
输出
y
算法步骤
- 先验概率的极大似然估计
P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y_i=c_k)}{N}
k=1,2,...,K
- 条件概率的极大似然估计
P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}
j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K
- 朴素贝叶斯法假设：在分类确定的条件下，用于分类的特征是条件独立的
y=\mathop{\arg\max}\limits_{c_k}P(Y=c_k|X=\overrightarrow{x})
=\mathop{\arg\max}\limits_{c_k}\frac{P(X=\overrightarrow{x}|Y=c_k)P(Y=c_k)}{\sum_{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}
=\mathop{\arg\max}\limits_{c_k}\frac{P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) }{\sum_{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}
=\mathop{\arg\max}\limits_{c_k}P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)
k=1,2,...,K
贝叶斯估计(最大后验估计 MAP)
P_\lambda(Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(y_i=c_k)}{K\lambda+N}
P_\lambda(X^{(j)}=a_{jl}|Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{s_j\lambda+\sum_{i=1}^{N}I(y_i=c_k)}
j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K
它等价于在X^{(j)}的各个取值的频数上赋予了一个正数\lambda
\lambda=0，极大似然估计；\lambda=1，拉普拉斯平滑
其他朴素贝叶斯分类器
假设了不同的P(X^{(j)}|y=c_k)分布
- GaussianNB(假设特征的条件概率分布满足高斯分布)
P(X^{(j)}|y=c_k)=\frac{1}{\sqrt{2\pi\sigma_k^2}}\exp\left(-\frac{(X^{(j)}-\mu_k)^2}{2\sigma_k^2}\right)
- MultinomialNB(假设特征的条件概率分布满足多项式分布)
P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{s_j\lambda+\sum_{i=1}^{N}I(y_i=c_k)}
j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K
- BernoulliNB(假设特征的条件概率分布满足二项分布)
P(X^{(j)}|y=c_k)=pX^{(j)}+(1-p)(1-X^{(j)})
X^{(j)}\in\{0,1\};P(X^{(j)}=1|y=c_k)=p
