机器学习算法-贝叶斯算法

作为初学者,本文很多都是是看过网上文章之后自己的理解,图片和内容借鉴很多网上知识,不能算是完全的原创,若对您造成了侵权,请联系我,我再修改。
我写的算法理解比较粗浅的,争取真正人人都可以看的懂的。
转自:http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html
转自:http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

基本概念

概率(Probability):0-1之间的数字,表示事件发生的可能性。

几率(Odds):特定结果发生和不发生的比例,0到无穷大,比如今天下雨的概率为0.1 不下雨的概率为0.9 ,那么下雨的几率为:0.1/0.9 = 1/9。

条件概率:在特定条件下事件发生的概率。
如P(A|B)表示为在B事件发生的条件下A事件发生的概率

似然(Likelihood):两个相关条件概率比值,给定B情况下A发生的几率和A的整体几率之比。

韦恩图

图中整个长方形标示随机事件发生的一切结果,A圆圈标示A事件发生的概率,概率用P标示。

  • A事件与B事件同时发生的概率表示为P(A∩B),或简写为P(AB)即两个圆圈重叠的部分。
    A不发生的概率为1-P(A),写为P(~A),即矩形中除了圆圈A以外的其他部分。

  • A或者B至少有一个发生的概率表示为P(A∪B),即圆圈A与圆圈B共同覆盖的区域。

  • 在B事件发生的基础上发生A的概率表示为P(A|B),这便是我们前文所提到的条件概率,图形上它有AB重合的面积比上B的面积。

那么条件概率P(A|B) = P(AB)/P(B)

P(AB) = P(A|B)P(B) 条件概率 总的可能的 A和B相交的概率。
P(BA) = P(B|A)P(A) 把AB替换下,也好理解。
得到:
P(A|B)
P(B) = P(B|A)P(A)
然后 P(B|A) = P(A|B)
P(B)/P(A)
这就是贝叶斯公式,很简单吧。:)

贝叶斯公式可以做什么?

贝叶斯公式可以用在求事件发生的概率,也许你会问求概率有什么用那? 有用,那就是可以作为分类器使用。
举个例子某个有n项特征(Feature),分别为F1、F2、...、Fn。
现在有m个类别(Category),分别为C1、C2、...Cm。
贝叶斯分类器就是计算出概率最大的那个分类,也就是求:

P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C)/P(F1F2..Fn)

由于P(F1F2..Fn)对于所有的类别都是相同的,可以省略,问题就变成了求:

P(F1F2...Fn|C)P(C)

的最大值,这概率的最大值即为得出的类别。朴素贝叶斯分类器则是更进一步,假设所有特征都彼此独立,因此

P(F1F2...Fn|C)P(C) = P(F1|C)P(F2|C)...P(Fn|C)P(C)

其实各个特征在现实中不一定是彼此独立的,所以其使用具有限制,但是它可以大大简化计算,而且有研究表明对分类的准确性影响不大。

阮一峰前辈的文章中的例子做说明,提供一组数据。

   症状  职业   疾病

打喷嚏 护士   感冒
打喷嚏 农夫   过敏
  头痛  建筑工人 脑震荡
    头痛  建筑工人 感冒
  打喷嚏 教师   感冒
   头痛  教师   脑震荡

现在又来了第七个病人,是打喷嚏的建筑工人,请问他患上感冒的概率有多大?
根据贝叶斯公式:

P(A|B) = P(B|A)P(A)/P(B)

可得

P(感冒|打喷嚏建筑工人) = P(打喷嚏建筑工人|感冒)* P(感冒)/P(打喷嚏*建筑工人)

继续推导:
P(感冒|打喷嚏*建筑工人) = P(打喷嚏|感冒)×P(建筑工人|感冒)×P(感冒)/P(打喷嚏)P(建筑工人)
= 0.66 ×0.33×0.5/0.5×0.33
= 0.66
这些数字是从上面表推出的,P(打喷嚏|感冒) = 2/3 3个感冒的人中有2个打喷嚏。

贝叶斯分类对连续值怎么做?

性别分类的例子,仍然从网上抄个例子。

男女数据统计资料

一个人身高6英尺、体重130磅,脚掌8英寸,问该人是男是女?

根据朴素贝叶斯分类器,计算下面:

P(身高|性别)×P(体重|性别)×P(脚掌|性别)×P(性别)
由于身高、体重、脚掌大小均是连续变量,不能采用离散变量的方法来计算概率。假设这些是正态分布,通过样本计算出均值和方差,也就得到正态分布的密度函数,从而计算出密度函数的值。

比如,男性的身高是均值5.855、方差0.035的正态分布。所以,男性的身高为6英尺的概率的相对值等于1.5789(大于1并没有关系,因为这里是密度函数的值,只用来反映各个值的相对可能性)。

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容

  • 【博客的主要内容主要是自己的学习笔记,并结合个人的理解,供各位在学习过程中参考,若有疑问,欢迎提出;若有侵权,请告...
    Paullu阅读 2,234评论 0 11
  • 我个人认为,在数据挖掘领域,分类算法是最为重要。它根据以往的数据来对新的数据做预测。垃圾邮件判断,潜在用户挖掘等都...
    程sir阅读 3,334评论 1 17
  • 忘光了概率统计的知识还想学朴素贝叶斯算法?这一篇就是为你准备的。虽然如此,作为初学者,别指望 5 分钟就能完全理解...
    kamidox阅读 2,658评论 4 7
  • 心瘾-徐子泓 憧憬未來嗎?回憶過去吧! 這是一曲令人絕望的輓歌 想想你躲在被人遺忘的角落裏 逃避着一切,外面雨都下...
    塔沙阅读 124评论 0 0
  • ■六月飞雪 南山湖游船
    朝花夕拾杯中酒123阅读 264评论 0 3