概率论与数理统计(持续更新中)

概率论的学习是在大一的时候了,当时遇到一个比较逗逼的老师,上着课,一不小心就开车,讲他见到的那些狗血剧班 的经历,光听他说故事去了,没有好好听课。到现在准备入行数据分析的时候,发现概率论对我还是非常重要,是专业基础,于是重学概率论。在“中国大学MOOC”上学习,将课堂所学与自己所思记录在这里。(持续更新)


其实当下炒的很热的大数据,人工智能他们很多的东西都建立在概率的基础之上。前段时间听李善友教授讲颠覆式创新,它就提到了不确定性。而概率论正是用不确定性来理解这个世界的。同时它也是分析师理解数据含义,根据业务产出数据价值的有力工具。所以说,概率是一门非常值得学的学科。

1.关于随机事件及其概率

贝叶斯公式:已知结果A,分析导致结果出现的第i个原因Bi发生的概率发生的概率。


贝叶斯定理

对于贝叶斯定理,在营销学上的应用还是很广的。包括在今天的大数据环境下,很多的数据分析模型都是根据贝叶斯定理来实现的。举一个非常简单的应用例子:某咨询公司对某企业的近期运营状况作出了诊断,发现在最近这段时间里企业面对着用户的流失率增加了,于是乎就想知道到底是什么原因导致了用户的流失。根据公司过往数据的分析发现,导致用户流失的主要原因一共有两个,一个原因是一个是企业给用户每天推送的广告超过三条的话,客户有8%的可能会流失;第二个原因呢就是因为推送时间的变化使得用户流失,这个概率有5%。同时,对于这两类的错误,企业有15%的概率会犯推送广告过多的错误,有10%的概率会犯推送时间变动的错误。这个时候我们回到问题“是什么导致了客户的流失”,对于已知的两个原因,构成了完备事件组,我们需要知道的就是最有可能是什么原因导致了客户的流失?(案例纯属虚构,只为帮助理解贝叶斯定理)

回到贝叶斯定理,事件A就是表示客户流失,Bi|A则表示导致A产生,事件Bi发生的概率。其中B1就是推送广告内容过多,B2就是推送时间的变化。我们可以分别求出客户流失的情况下,B1和B2发生的概率。经过计算可得P(B1|A)=71%,即客户流失的原因有71%的可能性是由推送内容过多造成的,有29%的可能是由推送时间变化造成 的。这样一来,我们也就可以预测出我们的问题可能出在哪里。

在这里面的应用中,需要注意的是,我们的事件发生原因应当是越全面越好,因为贝叶斯定理是在已有因素里面找可能性,在基础数据上的问题一定要避免。不过对于数据的来源,可信度方面不再讨论之列。

2.常见的概率统计指标

数学期望:反映随机变量平均取值的大小,用于计算平均值。

数学期望公式

在这里,Xi表示随机变量的可能发生结果,Pi表示发生此结果的概率。最终的均值等于所有随机变量结果乘以概率的和。但是期望往往会具有数据遮蔽性。这就是为什么我们的人均工资都达到了六七千,但是大多数人的工资水平就是在三四千徘徊。其实就好比,在十个人的工资报告中,九个人的工资是4000,而某牛人工资一月20000,于是在报告中,人均工资5600。这种数据往往不能反映真实的数据情况,在数据分析过程中要慎用均值。

方差:反映随机变量的波动程度,即稳定性。

方差

当期望值接近或相等时,我们更倾向于选择波动较小的变量,因为这样的数据稳定性好,用来计算的误差也会减小。

标准差:反映波动大小的量。

标准差,均方差

相关系数:反映两个变量之间的相互关系及其相关方向

相关系数
协方差

在这里面相关系数为(-1,1),绝对值值越大,表明相关度越高,正数正相关,负数负相关,当协方差为零时两者不相关。当X和Y相互独立时,X,Y不相关。需要指出的是,相关系数有一个明显的缺点,即它接近于1的程度与数据组数n相关,这容易给人一种假象。因此在样本容量n较小时,我们仅凭相关系数较大就判定变量x与y之间有密切的线性关系是不妥当的。

中位数:表示一组分布数据的中间点,它比均值更稳定,更不容易受到极端值的影响。(n+1)/2的位置或n/2和(n+1)/2的平均值位置。

3.几个基本定理及分布

大数定律:在重复次数足够多的条件下,随机事件往往呈现几乎必然的统计特性。

如:对于诈骗短信,我们很多人都会说,谁会去上这个当。但是作为犯罪分子来说,只要他们发送的短信数量足够多,就一定会有人上当。显然消费者上当后他们获得的利润比他们的投入成本要高的多的,因此他们愿意冒法律风险来做这个事。

中心极限定理:当随机变量的个数不断增加时,其和的分布趋近于正态分布。

正态分布:自然界很多随机现象都符合的分布规律,类似于“二八定则”

正态分布
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容