《概率统计超入门》是我在网上淘书时,发现的已绝版的原版拓印版。这本书是2001年日本的两位教育家写的,和《给讨厌数学的人——数学的奥妙与生活》一样,都是在日本教育部进行一次大的基础教育改革,推行“愉快教育”旗号时推出的。所不同的是,前者发扬了愉快教育的精神,真的把枯燥难懂的概率学写得非常浅显易懂,而后者则是担忧民众从此失去对数理的兴趣,远离真知而写的一本科普书。在此感慨一下日本教育界大家的写作功底,和实践自己理念的精神。
《概率统计超入门》除了由浅入深、结合日常实例等特点外,给人最大印象的是每一节内容都是两页。这让没有很大动力学习的人也能很轻松的持续看下去,就好比想锻炼的人应该从每天做一个俯卧撑开始,而不是上来就做二三十个。“循序渐进、持之以恒”在大多数情况下都是一个好原则。
书中讲的东西都很浅显,把有关概念和公示抄录下来,在笔记本上也只有6页。把概念都罗列出来,分别有重复随机试验的二项式分布公式、期望值、方差、标准差、散布度、契贝晓夫定理(又称切贝雪夫定理,这一节百度了三天才看懂)、协方差、相关系数、线性回归、多个随机变量的期望值、方差的和差积的计算,二项式分布的期望值和方差、超几何分布。这些名词看起来很专业,其实平均每一个都只需要花5分钟就能理解。看这本书时和印象中的中学概率统计有很多不同,感觉这本书的内容更侧重实用,更像是数据分析的基础入门教材。
其实如何计算概率和随机变量的属性及相关性,对不打算从事金融、商务分析、人工智能这些行业的人来说并不重要,但是理解概率的概念,拥有概率统计的思维却是非常重要的一件事。万维刚在《万万没想到》中甚至说,概率论是比万有引力和基因复制更重要的知识,是现代公民的必备常识,有没有这种思维,直接决定一个人的“开化”程度。这个话虽然听起来有些危言耸听,但事实确实如此。概率论的重要性主要体现在经济学的相关领域里,说白了就是跟钱有很大关系。相信每一个从不懂到看懂概率论的人都会感慨:“要是早点学就好了”。概率论的思维最大的用处,就是可以让我们避开社会上的一些“坑”,以保护好自己的财产,避免缴纳“智商税”。
简单记录一下《万万没想到》中关于概率的这篇文章《最简单概率论的五个智慧》。
第一个智慧:随机。概率论最基础的思想是,有些事是无缘无故发生的,这就是随机的概念。我们总是习惯性的把一件事情的发生,归结为各种原因。【现代认知科学发现,因果关系是人类认识外界的基本机制,失去逻辑人类的认知系统就会崩溃。这就为认识随机性造成了难度,其实在随机性背后还有一个更深的哲学理论,叫非连续性。】比如考试考的好,可以理解为学习用功了;比赛失败,可以理解为实力不济或者球员不在状态。但是并非任何时候事物都是必然的,偶然性也会造成很大影响。最极端的就是彩票:在同一期里买了相同数量彩票的人,中奖的概率是一样的,无论你在之前做过多少努力,比如研究彩票走势、沐浴更衣、烧香拜佛还是积善行德,都不会影响中奖的真实概率。像彩票这样的叫做独立的、随机的事件,它们的发生没有任何缘由,跟任何事物都没有因果关系。生活中绝大多数事情是偶然和必然的结合,我们在努力掌握必然性的同时,也应该认识到偶然性的存在,不应该把过多的精力花在寻求偶然因素上面。比较重要的一点启示是,在评判一个人时,不应该用一时的好坏或成败来给他贴标签(西方社会直接有“do not judge”不要评判一个人的文化);在寻找成功方法时,更要分清楚别人的成功里存在哪些必然和偶然因素,避免盲目尊崇和不以为然,更加理性的看待事物。
第二个智慧:误差。偶然性永远存在,哪怕在极度严谨的物理实验中,也无法保证完全没有偶然影响,而只能通过多次实验取平均值的方法,用范围值来表示实验结果,尽量降低偶然因素的影响。即便如此,实验结果也并不代表真实的值就一定在标明的范围里面,其实这个范围也只是在概率上的计算结果而已,只能说明真实值落在范围外面的可能性很小。误差不可避免,通过多次试验、或者多组数据来考量必然性与偶然性,是一个很重要的科学思维。比如世界杯预选赛时,国足总是在失败以后强调客观因素,这些客观因素确实是影响结果的偶然因素,但多次失败以后,我们还是可以得出国足是一支弱队的结论。
第三个智慧:赌徒谬误。从这里就开始教大家识别“坑”了。所谓的赌徒谬误,就是赌徒在赌博时,如果多次出现某一种情况,那他就认为没有出现过的情况在后面出现的几率会更大。比如扔色子时,已经好几次“大”了,那他就认为后面应该压“小”。这种思维是绝大多数人的习惯思维,也是人的本能思维。因为人脑的机制就是认为万事万物都有联系,(有趣的是,小孩子认为万物有灵,任何东西都是有生命的,比如汽车要加油了,他们会认为汽车开的累了要休息。所以人的天性里存在因果关系。)只有通过习得抽象概念才能跳出这个偏误。赌徒谬误的错误在于,他们认为概率是平均分布的,前面少的后面就会补回来。他们没有理解“独立”和“随机”这两个概念。所谓“独立”,就是前后两次事件之间没有任何关联,每一次发生的概率都是一样的。“随机”则是单独一次事件发生的可能性在理论上是等于概率的,但真的会不会发生是没法预测的。概率统计中有一个“大数定律”,大数定律确实说概率是均匀分布的,但有个前提是实验次数要足够多。所谓足够多就是无限多,几百几千几万次都称不上足够多,几万次以后的结果也只是“接近概率分布”。因此大数定律是一个理论情况,它的含义是前面如果已经扔出了很多次“大”,那再扔很多很多次以后,会出现非常多的“大”和非常多的“小”,以至于前面出现的几次“大”被忽略不计了。
第四个智慧:不由自主的找规律(原文是在没有规律的地方发现规律)。概率论的核心在于,独立随机事件的发生是没有规律和不可预测的。我们没有必要为偶然发生的事情过于在意,也不应该试图在随机中寻找规律。彩票分析学大行其道了很多年,大街小巷的彩票售卖店里都会有过去开奖的趋势图,各大网站也都有所谓的彩票分析专家,预测未来的彩票走势。在有概率思维的人看来,想要预测彩票走势是一件非常可笑的事情,这跟预测股票走势本质上是不同的,因为彩票没有任何外界因素可以考量,是一个纯粹的独立随机事件。赌徒谬误的问题在于分不清大数和小数的区别,彩票分析学的问题则在于,人们认为彩票存在走势,即规律。其实,发现规律也是人的一种天性和本能,人无时无刻不在把外界的信息总结成一些抽象的规律以便记忆,人脑在这方面的强大,以至于会让人只看到自己想看的东西,忽视不想看和不想知道的东西,如果有不符合规律的情况,就会被归结为“意外”,甚至是方法不对、只可意会、个人修行之类玄而又玄的原因,(这是一个很有用的心理常识,比如人永远喜欢奉承自己的话,哪怕非常清楚对方只是在奉承自己,而总是不喜欢听到反对自己的意见,哪怕明知道对方出于好意。)这是主观上的原因。客观的原因是,如果数据量足够多,总是能找出一个看起来合理的规律,就好比天上飘着的云,我们总是能找出一片云像某种物体,还越看越逼真。
第五个智慧:小数定律。数据多的时候规律总是会被找到,而当数据少的时候,规律有时候会自己“跳出来”。随机现象可以看上去很不随机,甚至非常整齐。这个很好理解,两个点连成一条直线,你可以说这两个点就在这条直线上;三个点则必然会有一个三角形;四个点......永远都能有一个自洽的结论,说明几个点构成一个图形,但实际上点在不在图形上,没有相关性,也就是因果关系。小数定律是诺贝尔经济学奖丹尼尔.卡尼曼戏称的,他认为理解小数定律和理解大数定律是相辅相成的。这跟前面的赌徒谬误的意思差不多,在生活中是最容易被忽视而造成可笑错误。比如,你曾经被河南人骗过,又恰好听说自己的一个朋友被河南人骗过,如果你进一步在网上发现有人被河南人骗过,那是否就会得出河南人骗子特别多的结论?(以前我就是这么认为的,无知啊!)可是无论从理论分析,还是从相关实验研究来看,都找不到河南人骗子多的统计数据,说明这只能是一种以讹传讹的认知偏误。很多网络上的经济、政治评论员,经常会从一两个事件就总结出一条博人眼球的规律来,在“开化”人看来,这种行为都是很无知的。
要理解随机分布不等于平均分布,概率和单个事件是否发生没有直接联系,是需要耐下心来,学一点概率知识的。这花不了多长时间,也许只要一个小时,我们就能理解大致的概念,然后在生活中慢慢实践,巩固和深化概率论的思维。这对我们的生活会产生非常大的帮助,我最近的就碰到这样一个事例。有个朋友建议我关注一下分级基金,可能是分级基金在去年这波股市大行情里比较抢眼吧,肯定有不少私募关注这个东西。于是我秉着学以致用的理念,在网上百度了分级基金的概念,又找了几篇讲解分级基金套利的文章,结果发现并没有大家传言的那么神奇,也绝对不是一个容易赚钱的投资品。我从两个方面得出结论,一是投资分零和与正和博弈,如果是零和博弈,要想赚取利润就是火中取栗,需要比绝大部分竞争者更高的信息获取能力和分析能力,还有更低的交易成本和渠道工具,很明显我没有。而且更有趣的是,分级基金的真实情况是,投资者出于套利的目的会高频交易,资管方的主要收入来源就变成了申购和赎回的手续费,那就连零和博弈都算不上了,是负和博弈。另一方面就是从概率角度出发,思考套利的可能性和几率大小,发现几篇所谓的教学文章在风险衡量和计算母基金仓位时,完全是靠猜的,作者很明显不懂小数定律,也犯了“只看到自己想看”的错误,认为套利成功是大概率事件。这种低级错误只能说明,作者要么很无知,要么就是别有用心,鼓动赚钱心切的投资者们参与套利。
在这个科技迅速发展、信息爆炸的时代,交点智商税有时候在所难免,就跟以前有人贪便宜买路边凑上来的手机笔记本,结果发现是个模型的道理是一样的。但是现在的“坑”的技术也在进步,像分级基金这样套了几层外衣的韭菜收割工具,以后肯定还会层出不穷。这就需要我们好好补习一些基础学科,配得上一个现代化公民的称号。