Tiger:人人都能用数据-统计学和直方图

文/泰阁志

夜空中最亮的星

1. 缘起

为了帮助大家和自己更好地学习数据分析,斗胆撰写《人人都能用数据》系列,会同步在本人的微信公众号/知乎专栏/头条号/简书(名称都是泰阁志)。这是第一篇,打算从统计学讲起。
之所以开始选择统计学,原因如下:

  • 市面良莠不齐,有“术”无“法”:
    目前不少数据分析教程讲的都是和数据相关的程序开发或所谓的数据驱动,然而,这些大都属于“术”的层面。首先,术业有专攻,每个领域的业务不尽相同,不同业务之间的分析流程差异较大;其次,不同的数据技能,其通用性难以保证,各有专长,而入门者一开始就在某项技能上深入,很难培养数据分析的大局观。正所谓一叶障目不见泰山。

  • 统计学是重中之重的方法论:
    它和数据密不可分,却要高于数据本身。可以说,在大数据时代,统计学提纲挈领,引领着数据分析的方法论,属于“法”的层面。缺乏足够统计学训练的入门者,难以真正掌握数据分析的精髓。

  • 统计学是绝佳的逻辑思考武器:
    比特币大神和著名投资人李笑来曾在新生大学社群说过:“在这个时代,不懂一点统计和概率论,简直就是文盲”。此言不虚,在这个数据爆炸的时代,我们的眼耳鼻舌身接收到的几乎都是量化的信息,不懂统计,你就少了一样看清世界真相的重要武器。

2. 统计学和数据分析的关系

说到统计学,我们先来看看它的维基百科定义:

统计学是在数据分析的基础上,自17世纪中叶产生并逐步发展起来的一门学科。
它是研究如何测定、收集、整理、归纳和分析反映数据,以便给出正确消息的科学。统计广泛地应用在各门学科,从自然科学、社会科学到人文学科,甚至被用来工商业及政府的情报决策之上。
随着大数据(Big Data)时代来临,统计的面貌也逐渐改变,与信息、计算等领域密切结合,是数据科学(Data Science)中的重要主轴之一。

好了,统计学和数据分析的关系一目了然:

统计研究数据的特征,并从中抽取规律来做决策
那么,统计学是如何从大量貌似杂乱无序的数据中寻找特征的呢?简单来说有两点:
用图形化呈现特征(可视化)

以某个数字来代表特征(该数即统计量)

从图形化出发,我们先学习一个常见且重要的统计图形:直方图。

3. 直方图(Histogram)
直方图,可以理解为由一系列高度不等的纵向条柱来表示数据分布特征的统计报告图,它是对原始数据进行压缩的结果。
它的生成步骤如下:

    1. 找出原始数据集的最大值和最小值
    1. 根据最大值和最小值将原始数据大致划分成若干组
    1. 确定各组的代表值,称为组值
    1. 确定每组值的数据个数,称为频数
    1. 计算每组频数的累计值,称为累计频数
    1. 在横轴上等间距放置组值
    1. 在纵轴上做出柱状图,高度为该组值对应分组的频数

以上步骤看起来可能比较抽象,我们大致了解即可。真正制作直方图时,不需要我们亲力亲为以上步骤,一般的程序和工具包都可以直接绘制直方图。

下面以常用语言Python和R为例来演示如何用程序生成直方图,当然,这也是数据可视化的入门范例。

以下为Python产生直方图的样例代码,运行环境为Mac终端的IPython:


Python直方图代码

以上Python代码生成的直方图效果如下:

随机数正态分布直方图

以下为用R产生直方图的样例代码,运行环境为Mac版的RStudio:

R直方图代码.png

以上R代码生成的直方图效果如下:

R代码产生的直方图

注:上图标题“breaks = 40”表示原始数据被分成40个数据组,该R代码来自谢益辉的《现代统计图形》

直方图对理解统计学至关重要,请大家仔细体会和通过代码学习。

题图作者:William Bout
图片授权基于:CC0协议

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容