传送门
- 十分钟掌握pandas中文版：https://blog.csdn.net/brook_/article/details/80791473
- 速查手册中文版： https://blog.csdn.net/qq_33399185/article/details/60872853
若无特殊说明，以下操作环境均在jupyter notebook中
1. 检查当前使用版本
import pandas
print(pandas.__version__)
若返回的非最新版本，可通过在cmd中输入指令升级
conda update pandas
系统会自动下载安装最新包，安装好后重启jupyter notebook即可
2. 读取文件（简）
- 一般先将所要读取的文件转为csv或者txt格式
- 文件路径格式：\\或者/
- 使用函数read_csv或者read_table，前者默认sep = ','，后者默认sep = '\t'（稍后作详细说明）
- windows环境中读取/导出文件时若出现编码问题，可尝试通过设置encoding = 'gbk'解决。（读取时也可先用记事本打开，另存为编码utf-8的文件）
import pandas as pd df = pd.read_csv('C:\\Users\\admin\\Desktop\\filename.csv', sep = ',')
3. Series
- 定义：一种类似于一维数组的对象，由一列数据和一列索引组成
- 创建：
#第一种：默认索引 import pandas as pd s1 = pd.Series(range(0,5)) s1#图s1#第二种：字典转Series，key为索引 import pandas as pd dic = {'a':0,'b':1,'c':2,'d':3,'e':4,'f':5} s2 = pd.Series(dic) s2#图s2#第三种：字符串转列表，元素为索引。若为单值，则填充所有索引位对应值 import pandas as pd s3 = pd.Series(3, index = list('abcd')) s3#图s3返回
s1.png
s2.png
s3.png - 操作
#选取 s2['a'] s2['a','c','d'] #运算 s2[s2 > 2] #筛选大于2的元素，返回包含索引 s2 * 2 #对所有元素*2 s2 + s3 #自动对齐，缺失值以NaN填充 #判断 'a' in s2 #修改索引 s3.index = ['e','f','g','h'] #重新索引 s3.reindex(['d','c','b','a','x'], methon = 'ffill' ) #丢弃指定轴上的项 s3.drop('a') #索引切片 s3['b':'c'] #包含末端 #排序和排名 s3.order() s3.rank(methon = 'max', ascending = False) #唯一值 s3.unique().sort() #值频率 s3.value_counts() 或 pd.value_counts(s3.values, sort = False) #成员资格 s3.isin(['a','b']) #过滤缺失值 s3.dropna()
4.DataFrame
- 定义：二维（或高维）数据结构，每列数据类型可以不同，行和列都有索引
- 创建：
#第一种：等长列表或Numpy数组组成的字典
data = {'state' : ['Ohio','Ohio','Ohio','Nevada','Nevada'],
'year' : [2001, 2001, 2002, 2001, 2002],
'pop' : [1.5, 1.7, 3.6, 2.4, 2.9]}
frame = DataFrame(data, columns = ['year', 'state', 'pop'], index = ['one','two','three',' four','five'])
#如果传入的列在数据中找不到，则以NaN填充
#第二种：嵌套字典
pop = {'Nevada' : {2001: 12.4. 2002: 2.9}, 'Ohio' : {2000 : 1.5, 2001: 1.7, 2002: 3.6}}
frame2 = DataFrame(pop)
- 操作
#选取单列，返回Series
frame['state']
frame.year
#选取单行，返回Series
frame.ix['three']
#修改值
frame['state'] = 'Ohio'
frame['year'] = np.range(2000,2005) #长度必须匹配
#如果传入的数组有索引，则按索引对应修改值
#为不存在的列赋值则产生新列
frame['state2'] = frame.state == 'Ohio'
#转置
frame.T
#重新索引
frame.reindex(index = ['two', 'one'], columns = ['year', 'others'], method = 'bfill')
#或
frame.ix[ ['two','one'], ['year', 'others']]
#丢弃指定轴上的项
frame.drop(['one','two'])
frame.drop('year', axis = 0)
#切片，即多行多列
frame[:2]
frame[frame['year'] > 2001]
frame.ix[:'three', 'year']
frame.ix[frame.year > 2001, :2]
#算术运算
df1 + df2 #行列同时对齐
df1.add(df2, fill_value = 0)
#广播
df - df.ix[0] #df所有行都会按列索引与df[0]相减
df.sub(df['a'], axis = 0)
#函数应用和映射
f = lambda x: x.max() - x.min()
df.apply(f) #对每一列最大值-最小值
df.apply(f, axis = 1) #对每一行 最大值- 最小值
format = lambda x: '%.2f' %x
frame.applymap(format) #元素级应用
#排序和排名
frame.sort_index(by = ['a','b'])
frame.sort_index(axis = 1, ascending = False)
frame.rank(axis = 1)#对每列内部排名
#描述统计
df.sum(axis = 1,skipna = False)
df.cusum()#累加
df.describe()
#相关系数和协方差
#略
#过滤缺失值
df.dropna(axis = 1, how = 'all')
#填充缺失数据
df.fillna(0)
df.fillna({'a':1,'b':2}) #不同列填充不同值
#注：fillna默认返回新对象，但也可以对现有对象就地修改：
_ = df.fillna(0, inplace = True)
#层次化索引
#略
#列与索引转换
df.set_index('a', drop = False) #列转为索引，保留列
df.reset_index() #索引转为列
