Python入门：数据分析步骤

广义的数据分析可以分为五个步骤：定义问题、获取数据、清洗数据、分析数据、报告结论。

定义问题

我们可以从两个方面来思考：是描述还是推断？前者倾向于关注我们看见的数据是什么样的，而后者倾向于我们可以基于数据对未知情况做出什么样的预测。举个例子，我们看见下面一组数据：

# 每日学习时长（分钟）
learn_time = {"老王":30, "阿强":5, "妞妞":13, "小赵":0, "张小明":22}
# Python项目完成度
project_complete = {"老王":1, "阿强":0.1, "妞妞":0.2, "小赵":0.0, "张小明":0.7}

上方示例中，我们看到 Python 学员每天学习 Python 的时间以及项目的完成水平，我们据此提出两个问题：
1）有两个学员的每天学习时长超过20分钟；
2）新学员萌仔的项目完成度在0.9，TA的每日学习时长大于20分钟。
上述两个问题中，第一个问题是描述性问题，而第二个问题是推断性问题。

survey = "https://stackoverflow.blog/2017/09/06/incredible-growth-python/"
SO_question = {2012:0.040, 2013:0.045, 2014:0.050, 2015:0.060, 2016: 0.075, 2017: 0.09, 2018: 0.10}

print("据统计在网站Stack Overflow上：")
for year, perc in SO_question.items():
    print("{year}年，关于Python的提问占比为{perc}%".format(year = year, perc = perc*100))
print("报告来源："+survey)

# 输出：
# 据统计在网站Stack Overflow上：
# 2012年，关于Python的提问占比为4.0%
# 2013年，关于Python的提问占比为4.5%
# 2014年，关于Python的提问占比为5.0%
# 2015年，关于Python的提问占比为6.0%
# 2016年，关于Python的提问占比为7.5%
# 2017年，关于Python的提问占比为9.0%
# 2018年，关于Python的提问占比为10.0%
# 报告来源：https://stackoverflow.blog/2017/09/06/incredible-growth-python/

获取数据

有时候，我们可以根据看到的数据来提出问题，而有时，我们会先提出问题，再去想办法获取相应的数据。一般来说，可以有以下途径获取数据：

1）读取文件：
可以用代码来读取电脑中的文件，从而获取其中的数据。具体的方法我们会在“文件”章节中为大家做讲解。

2）网络抓取（爬虫）：
互联网的普及造就了今日数据科学的蓬勃态势，我们之前学到的网页爬虫技能也是人们常用的获取数据手段。但是需要注意的是，要用合法手段抓取网站数据。

3）使用API：
许多网站提供应用程序接口（Application Programming Interface， API）允许你明确地请求结构化格式的数据。这样省去了我们不得不去抓取数据的麻烦。

import urllib.request
from urllib.request import urlopen
web_adr = "https://assets.baydn.com/baydn/public/codetime/1/scrape_py.html"
web_reponse = urllib.request.urlopen(web_adr)

print(web_reponse.read())

清洗数据

我们获取的数据往往是“不干净”的，我们需要对它进行清洗。
清洗数据一般包括三个方面：异常值的处理，空值的处理以及数据调整。

下方是我们从世界银行网站免费下载的公开数据，其中记录了每年的世界人口统计。我们想计算每年人口的变化趋势。到手的数据都是字符串，无法直接进行计算。

清洗数据：将字典的值（字符串）改为 float 数据。

data = "https://data.worldbank.org/indicator/sp.pop.totl"
world_population = {2017:"7530000000", 2016: "7444000000", 2015: "7358000000", 2014: "7271000000", 2013: "718500000"}

print("世界人口统计（2013～2017）：")
for pop in world_population.values():
    #将字典的值（字符串）改为 float数据
    pop = float(pop)
    print(pop)
    print(type(pop))
    
print("数据来源："+data)

# 世界人口统计（2013～2017）：
# 718500000.0
# <class 'float'>
# 7271000000.0
# <class 'float'>
# 7358000000.0
# <class 'float'>
# 7444000000.0
# <class 'float'>
# 7530000000.0
# <class 'float'>
# 数据来源：https://data.worldbank.org/indicator/sp.pop.totl

分析数据

对数据清洗完毕后，我们可以从中挖掘有价值的信息。根据我们对问题的分类，也可以将对数据的分析角度划分为描述性分析和推断性分析。

比如下方程序，依据运行结果你愿意去哪家公司工作？

company_a = [3000,3500,3300,4000,3200,30000,4300,3000,4200,3000]
company_b = [6000,6500,6000,5500,5300,5300,6300,5800]

def ave_income(company):
  total = 0
  count = 0
  for num in company:
    total += num
    count += 1 
  return total/count
  
print("A公司的平均收入为{}元/月".format(ave_income(company_a)))
print("B公司的平均收入为{}元/月".format(ave_income(company_b)))

# A公司的平均收入为6150.0元/月
# B公司的平均收入为5837.5元/月

报告结论

最常见的结论展现方式是将数据可视化，比如Python中的pygal库实现数据可视化。

Line：折线图

import pygal
line_chart = pygal.Line()
line_chart.title = '浏览器使用比例 (%)'
line_chart.x_labels = map(str, range(2002, 2013))
line_chart.add('火狐', [None, None,    0, 16.6,   25,   31, 36.4, 45.5, 46.3, 42.8, 37.1])
line_chart.add('Chrome',  [None, None, None, None, None, None,    0,  3.9, 10.8, 23.8, 35.3])
line_chart.add('IE',      [85.8, 84.6, 84.7, 74.5,   66, 58.6, 54.7, 44.8, 36.2, 26.6, 20.1])
line_chart.add('其他',  [14.2, 15.4, 15.3,  8.9,    9, 10.4,  8.9,  5.8,  6.7,  6.8,  7.5])
line_chart.render()

image

Bar：柱状图

import pygal

"""
对891名泰坦尼克号乘客统计（人数）：
女性幸存者：223
男性幸存者：109
女性遇难者：81
男性遇难者：468
"""

survive_female = 223
non_survive_female = 81
survive_male = 109
non_survive_male = 468

line_chart = pygal.Bar()
line_chart.title = '泰坦尼克号生存统计'
line_chart.x_labels = map(str, ["幸存者","遇难者"])
line_chart.add('女性',  [survive_female, non_survive_female])
line_chart.add('男性',  [survive_male, non_survive_male])
line_chart.render()