商业数据分析第一次课作业-0708

感谢 Dr.鱼 的耐心讲解和细致回答。

本次课的作业如下:

根据第一课所学的知识,对天气数据进行简单分析。


前言

虽然给出的数据表是 .csv 可以用Excel处理的,但是技术白还是想把它当做一个未知领域用Python一点点剥开它神秘的面纱。于是在之前几个月黑风高的杀人夜,技术白放弃了高床软枕和肥皂剧,一点点和 pandas 的方法过招。虽然最终还是以技术白的完败告终(有几个想法就是死活实现不了),还好最终还是勉强写出了这么一份极水的“作业”来。阅卷老师看了莫要恼了才好,技术白指天发誓,真的已经用了洪荒之力了。

另,虽然知晓本次开题是为了检验技术白对 pandas 方法的掌握程度,但是作为一个前咨询行业从业者,现互联网行业PM,且上升星座为处女座的耿(jiao)直(jin)Girl 来说,还是会从数据解读角度来对待这次作业的。时间赶的吃瓜群众可以绕开正文中大段的文字描述,只看代码行和输出结果即可,技术白已在其中注释出每一个函数的用途。给大家带来的阅读不便,技术小白这厢先请罪了。

好,闲言少叙 [小白知道已经贫了好多了(✿◡‿◡)],那就来吧,互相伤害吧~


阅卷老师请留步

前文所述,学生在和 pandas 过招中,有一些地方死活就是搞不出来,书也翻了,狗也放了,无奈资质平庸,未得要领,所以还是要麻烦老师代为解答。为了阅读的连贯性,学生会将所遇疑问在讲述过程中以 [疑问] 方式进行提出,在全文后也会将所有疑问进行归纳总结,若是老师甚忙,可以直接跳看文末,学生这厢有礼了~~


运行环境

Windows 7

Anaconda 1.6.2(没有从 anaconda 打开 jupyter)

Jupyter 5.0.0(直接从 [ 开始-键入程序 ] 打开)

Python 2.7


终于可以正式开始了

1.导入 pandas、numpy 数据分析扩展包,调用 matplotlib 绘图

[备注] 也可导入matplotlib.pyplot扩展包实现绘图功能,但需在代码中调用 plt.show 方法

导入分析包

2.导入数据源,用 .info 查看下数据表基本信息,定义“Date”为主键

[思路] 先查看统计信息是为了了解下数据规模和包含的字段情况。

1)一共有365条数据,是2013年全年的天气数据。但是events有158个缺失值,这点等下要看看原因是什么。

2)数据表一共包含8个字段,分别是:

日期 (按照规律定义日期为主键最方便查看数据)

温度、湿度、能见度、风速 和 云量为 int 类型(整形数)

SeaLevelPressureIn(英语差且不懂气象学的同学表示不知道这是个什么鬼?海平面气压?)为float类型(浮点数)

事件 为 object 类型(对象)

[疑问] 试了半天没试出来如何脱离读取数据函数定义主键,所以只好 info 完再回去添加定义主键重新跑 %>_<%

.info 查看数据表基本信息

3.查看三行数据

[思路]主要想看下数据是什么样的,尤其是类型为 object 的 event 。原来是风雨雪云晴 :-D

.head() 查看数据

4.用 .describe 看下基础统计情况,更立体的了解下数据结构

[思路] 通过查看基础统计项,可以大致描绘出样本的数据结构,但是由于对气象本身并没有深入了解,所以在对数据解读时仅能从数字本身进行推测。

通过对几项指标的观察,这个城市全年气温在 9-80℉(-13 - 27℃)之间,湿度在 34-97% 之间,能见度在 1-10 (这个不晓得单位是什么,问度娘能见度应该是按英里/公里计算,但是看给出数值并不像是长度计量单位,故此处仅能解读数值)之间,风速在 1-21MPH(0-5级风) 之间,云量在 0-8 之间(问度娘得知云量取值范围为0-10),再参考中位数、均值和标准差,初步判断这个城市为温带季风气候,冬季寒冷,夏季高温多雨,待后续确认。

[疑问]能不能定义输出的浮点位数?有时并不用精确到6位那么多,这个默认值看着好晕 +_+

.describe() 针对 series 或 DataFrame 列计算基础统计

5.按月查看各统计量(均值、标准差、中位数、最大值、最小值)

[思路] 通过查看月度数据发现全年月度最高温差异较小,但最低温在1-5月、10-12月差异较大,导致标准差较大。通过观察均值,进一步佐证此结论。湿度也呈与温度类似的变化,夏天风小些,冬天风大些,云量倒是全年都差不太多。后面可以再出图看看是不是这样。

[疑问] 为什么最大值和最小值可以计算 object 类型数据?计算的依据是什么?如何在用 .resample('M') 计算时生成一列月份信息,而非仅主键显示汇总月的最后一天?

.resample()按月抽样 

6.数字看起来好累,出个图看一看

[思路] 通过全量数据图看湿度比温度的季节性表现更强烈。

.plot 全维度绘图

再看看那个 Sea Level Pressure In,这个海什么全年都显示的好平稳,日差值只有1-2位,年差值不到1位,看起来好稳定的样子。

.plot 单维度绘图


还是比较关心温度和湿度,单切出它俩的趋势图看一下。如图所示,可以很明显的看出 5-9 月两组数据缠绵度那是相当的高,夏季高温高湿,这个城市有些海洋气候的意思。

.plot 双维度绘图

再看看温度和湿度月均值的表现,看起来在1-2月的时候低温高湿,那真是相当的湿冷湿冷啊。(考虑到标准差巨大,均值只能做参考用,不具备结论佐证效力)

.plot 按月双维度绘图

最后再看看我们的好天气(无风无雨也无厚云)吧。笨得要死的小白经过无数次试验和翻阅资料,愣是没找到如何计算空值,所以只好计算非缺失值,然后口算减法算好天儿(技术白已哭晕在洗手间)

看起来这个城市的天气蛮好啊,2月的时候只有5天不太好,最差也就4月,哪还有将近一半儿日子是好天儿呢。(生活在帝都,看到 "人家的城市" 的小白再次哭晕在洗手间)

[疑问] 应该如何计算列中的空值频次?

.count 计数


到此为止,小白对这个城市2013年的天气已经有了比较立体的认知了。虽然没有降水量来参考,但是综合考虑温度、湿度、风速和云量,基本可以判定这个城市应该是温带海洋气候。小白猜测这应该是北美的某个城市?不知道猜的对不对 (ˇˍˇ)~


Question:(老师老师,看这里看这里哦)

1. 如何脱离读取数据函数定义主键?

2. .describe() 如何定义输出的浮点位数?

3. 为什么在用 .max .min 计算最大值和最小值时可以计算 object 类型数据?计算的依据是什么?

4. 如何在用 .resample('M') 计算时生成一列月份信息,而非仅主键显示汇总月的最后一天?

5. 如何计算列中的空值频次?


尾声

作业终于写完了,啰哩吧嗦又说了这么一大堆,有用的没几句。通过本次的实践,技术白深深的感受到了自己 “开发思维” 的迟钝。即便看了帮助,也是要试验几次才能出来想要的效果。当然更深的感受便是 -- 代码不写不快,不要让自己停留在想上,还是多动动手的好~

小白记得以后会尽量言简意赅的写作业,节省彼此的时间,I'm sorry  /(ㄒoㄒ)/~~

今天就到这里啦,撒花~

感谢您的时间。 

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容