学习地址:http://codingpy.com/article/a-quick-intro-to-pandas/?hmsr=toutiao.io
数据源:以前爬取的上海租房信息,命名为test.csv
import pandas as pd
- df.read_csv('test.csv')
错误提示:
Error tokenizing data. C error: Expected 5 fields in line 5, saw 7
参阅了stackoverflow.com上相似问题,大家提到了:Solution is to use pandas built-in delimiter "sniffing". input_data = pd.read_csv(fname, sep=None)
-
For those landing here, I got this error when the file was actually an .xls file not a true .csv. Try resaving as a csv in a spreadsheet app.
综上所述,我将csv另存了一个csv文件,打开就无错了。
- 一些操作命令:
- 查看
df.read_csv('xxx.csv') # 后面还有很多参数,参看pandas.read_csv参数详解
df.head(5) #查看前5行
df.tail(5) #查看末尾5行
len(df) #返回行数
df.describe() #数据集的基本统计数据
- 过滤
df.列名 和 df['列名']
返回的结果一样
df.列名<1000,df[df.列名<1000]
布尔过滤,满足的返回True,否则返回False
df[(df.列名2>2000)&(df.列名1<1000)]
多条件过滤
如果数据中是字符串,比如返回90年代的记录:
df.[df.列名.str.startstring('199')]
- 索引
为了操作方便修改一下列名:
df.columns = ['bianhao','danjia','mianji','xiaoqu','quyu','jingdu','weidu']
df.danjia[1]
#十字交叉单元格处的值
df.iloc[1]
#iloc 只对数字型的标签有用。它会返回给定行的 series,行中的每一列都是返回 series 的一个元素
和 iloc 一样,loc 会返回你引用的列,唯一一点不同就是此时你使用的是基于字符串的引用,而不是基于数字的。
还有一个引用列的常用常用方法—— ix 。如果 loc 是基于标签的,而 iloc 是基于数字的,那 ix 是基于什么的?事实上,ix 是基于标签的查询方法,但它同时也支持数字型索引作为备选。
df.set_index['biaohao']
#将编号列设为索引。当你将某一列设置为索引的时候,它就不再是数据的一部分了。如果你想将索引恢复为数据,调用 set_index 相反的方法 reset_index 即可:
df.reset_index['bianhao']
df.sort_index(ascending=False).head(5)
#前5行降序排列,默认ascending=True升序 - 对数据集应用函数
apply 的用法,即对一列数据应用函数。如果你想对整个数据集应用函数,就要使用 applymap - 操作数据集的结构
重新建立数据结构,使得数据集呈现出一种更方便并且(或者)有用的形式。
-groupby
groupby 会按照你选择的列对数据集进行分组。不过仅仅这样做并没有什么用,我们必须对其调用函数,比如 max 、 min 、mean 等等。
df.groupby(df.mianji //100*100).max()
df.groupby([df.mianji //100*100,df.danjia //10000*10000])[['jingdu','weidu']].mean()
注意后面的'jingdu','weidu'列不能为字符串列,否则报错。
-unsrack
它可以将一列数据设置为列标签,用法:df.unstack(i) #i为int,以第i列为标签转换
-轴向旋转(pivoting)
轴旋转其实就是我们之前已经看到的那些操作的一个集合。首先,它会设置一个新的索引(set_index()),然后对索引排序(sort_index()),最后调用 unstack 。以上的步骤合在一起就是 pivot.
data.pivot('danjia','mianji')[['jingdu','weidu']].fillna('') #fillna空值以空字符填充
- 合并数据集
有时你有两个相关联的数据集,你想将它们放在一起比较或者合并它们。好的,没问题,在 Pandas 里很简单:
rain_jpn = pd.read_csv('jpn_rain.csv') rain_jpn.columns = ['year', 'jpn_rainfall'] uk_jpn_rain = df.merge(rain_jpn, on='year') uk_jpn_rain.head(5)
这样,你的'jpn_rain.csv文件里的jpn_rainfall列,就以year列合并到了df中,追加在列尾。 -
快速画图
- 保存数据集
df.to_csv('xxx.csv')
- 查看