概率论的学习是在大一的时候了,当时遇到一个比较逗逼的老师,上着课,一不小心就开车,讲他见到的那些狗血剧班 的经历,光听他说故事去了,没有好好听课。到现在准备入行数据分析的时候,发现概率论对我还是非常重要,是专业基础,于是重学概率论。在“中国大学MOOC”上学习,将课堂所学与自己所思记录在这里。(持续更新)
其实当下炒的很热的大数据,人工智能他们很多的东西都建立在概率的基础之上。前段时间听李善友教授讲颠覆式创新,它就提到了不确定性。而概率论正是用不确定性来理解这个世界的。同时它也是分析师理解数据含义,根据业务产出数据价值的有力工具。所以说,概率是一门非常值得学的学科。
1.关于随机事件及其概率
贝叶斯公式:已知结果A,分析导致结果出现的第i个原因Bi发生的概率发生的概率。
对于贝叶斯定理,在营销学上的应用还是很广的。包括在今天的大数据环境下,很多的数据分析模型都是根据贝叶斯定理来实现的。举一个非常简单的应用例子:某咨询公司对某企业的近期运营状况作出了诊断,发现在最近这段时间里企业面对着用户的流失率增加了,于是乎就想知道到底是什么原因导致了用户的流失。根据公司过往数据的分析发现,导致用户流失的主要原因一共有两个,一个原因是一个是企业给用户每天推送的广告超过三条的话,客户有8%的可能会流失;第二个原因呢就是因为推送时间的变化使得用户流失,这个概率有5%。同时,对于这两类的错误,企业有15%的概率会犯推送广告过多的错误,有10%的概率会犯推送时间变动的错误。这个时候我们回到问题“是什么导致了客户的流失”,对于已知的两个原因,构成了完备事件组,我们需要知道的就是最有可能是什么原因导致了客户的流失?(案例纯属虚构,只为帮助理解贝叶斯定理)
回到贝叶斯定理,事件A就是表示客户流失,Bi|A则表示导致A产生,事件Bi发生的概率。其中B1就是推送广告内容过多,B2就是推送时间的变化。我们可以分别求出客户流失的情况下,B1和B2发生的概率。经过计算可得P(B1|A)=71%,即客户流失的原因有71%的可能性是由推送内容过多造成的,有29%的可能是由推送时间变化造成 的。这样一来,我们也就可以预测出我们的问题可能出在哪里。
在这里面的应用中,需要注意的是,我们的事件发生原因应当是越全面越好,因为贝叶斯定理是在已有因素里面找可能性,在基础数据上的问题一定要避免。不过对于数据的来源,可信度方面不再讨论之列。
2.常见的概率统计指标
数学期望:反映随机变量平均取值的大小,用于计算平均值。
在这里,Xi表示随机变量的可能发生结果,Pi表示发生此结果的概率。最终的均值等于所有随机变量结果乘以概率的和。但是期望往往会具有数据遮蔽性。这就是为什么我们的人均工资都达到了六七千,但是大多数人的工资水平就是在三四千徘徊。其实就好比,在十个人的工资报告中,九个人的工资是4000,而某牛人工资一月20000,于是在报告中,人均工资5600。这种数据往往不能反映真实的数据情况,在数据分析过程中要慎用均值。
方差:反映随机变量的波动程度,即稳定性。
当期望值接近或相等时,我们更倾向于选择波动较小的变量,因为这样的数据稳定性好,用来计算的误差也会减小。
标准差:反映波动大小的量。
相关系数:反映两个变量之间的相互关系及其相关方向
在这里面相关系数为(-1,1),绝对值值越大,表明相关度越高,正数正相关,负数负相关,当协方差为零时两者不相关。当X和Y相互独立时,X,Y不相关。需要指出的是,相关系数有一个明显的缺点,即它接近于1的程度与数据组数n相关,这容易给人一种假象。因此在样本容量n较小时,我们仅凭相关系数较大就判定变量x与y之间有密切的线性关系是不妥当的。
中位数:表示一组分布数据的中间点,它比均值更稳定,更不容易受到极端值的影响。(n+1)/2的位置或n/2和(n+1)/2的平均值位置。
3.几个基本定理及分布
大数定律:在重复次数足够多的条件下,随机事件往往呈现几乎必然的统计特性。
如:对于诈骗短信,我们很多人都会说,谁会去上这个当。但是作为犯罪分子来说,只要他们发送的短信数量足够多,就一定会有人上当。显然消费者上当后他们获得的利润比他们的投入成本要高的多的,因此他们愿意冒法律风险来做这个事。
中心极限定理:当随机变量的个数不断增加时,其和的分布趋近于正态分布。
正态分布:自然界很多随机现象都符合的分布规律,类似于“二八定则”