数据结构：Series 和 DataFrame
一维的序列和二维的表结构
import pandas as pd
from pandas import Series, DataFrame
x1 = Series([1,2,3,4])
x2 = Series(data=[1,2,3,4], index=['a', 'b', 'c', 'd']) #两个特性，value和index，index默认为0,1,2,3
print (x1)
print (x2)
d = {'a':1, 'b':2, 'c':3, 'd':4} #用字典的方法创建series
x3 = Series(d)
print (x3)
DataFrame 类型数据结构类似数据库表
import pandas as pd
from pandas import Series, DataFrame
data = {'Chinese': [66, 95, 93, 90,80],'English': [65, 85, 92, 88, 90],'Math': [30, 98, 96, 77, 90]} #行索引
df1= DataFrame(data)
df2 = DataFrame(data, index=['ZhangFei', 'GuanYu', 'ZhaoYun', 'HuangZhong', 'DianWei'], columns=['English', 'Math', 'Chinese']) #列索引
print (df1)
print (df2)
数据导入和输出
import pandas as pd
from pandas import Series, DataFrame
score = DataFrame(pd.read_excel('Desktop\data.xls')) #windows不要用绝对路径，用相对路径
score.to_excel('Desktop\data.xls')
print (score)
在运行的过程可能会存在缺少 xlrd 和 openpyxl 包的情况，到时候如果缺少了，可以在命令行模式下使用“pip install”命令来进行安装。
数据清洗
删除 DataFrame 中的不必要的列或行
data = {'Chinese': [66, 95, 93, 90,80],'English': [65, 85, 92, 88, 90],'Math': [30, 98, 96, 77, 90]}
df2 = DataFrame(data, index=['ZhangFei', 'GuanYu', 'ZhaoYun', 'HuangZhong', 'DianWei'], columns=['English', 'Math', 'Chinese'])
df2 = df2.drop(columns=['Chinese'])
df2 = df2.drop(index=['ZhangFei'])
重命名列名 columns，让列表名更容易识别
df2.rename(columns={'Chinese': 'YuWen', 'English': 'Yingyu'}, inplace = True)
去重复的值
df = df.drop_duplicates() # 去除重复行
更改数据格式
df2['Chinese'].astype('str')
df2['Chinese'].astype(np.int64)
数据间的空格
# 删除左右两边空格
df2['Chinese']=df2['Chinese'].map(str.strip)
# 删除左边空格
df2['Chinese']=df2['Chinese'].map(str.lstrip)
# 删除右边空格
df2['Chinese']=df2['Chinese'].map(str.rstrip)
#删除特殊符号，$
df2['Chinese']=df2['Chinese'].str.strip('$')
大小写转换
# 全部大写
df2.columns = df2.columns.str.upper()
# 全部小写
df2.columns = df2.columns.str.lower()
# 首字母大写
df2.columns = df2.columns.str.title()
查找空值
用isnull函数，想看下哪个地方存在空值 NaN，可以针对数据表 df 进行 df.isnull()，想知道哪列存在空值，可以使用 df.isnull().any()。
使用 apply 函数对数据进行清洗
df['name'] = df['name'].apply(str.upper) #对 name 列的数值都进行大写转化
我们也可以定义个函数，在 apply 中进行使用。比如定义 double_df 函数是将原来的数值 *2 进行返回。然后对 df1 中的“语文”列的数值进行 *2 处理，可以写成：
def double_df(x):
return 2*x
df1[u'语文'] = df1[u'语文'].apply(double_df)
我们也可以定义更复杂的函数，比如对于 DataFrame，我们新增两列，其中’new1’列是“语文”和“英语”成绩之和的 m 倍，'new2’列是“语文”和“英语”成绩之和的 n倍，我们可以这样写：
def plus(df,n,m):
df['new1'] = (df[u'语文']+df[u'英语']) * m
df['new2'] = (df[u'语文']+df[u'英语']) * n
return df
df1 = df1.apply(plus,axis=1,args=(2,3,)) #axis=1 代表按照列为轴进行操作，axis=0 代表按照行为轴进行操作，args 是传递的
两个参数，即 n=2, m=3
数据统计
describe()函数是一个大礼包，会输出cout mean std min max 25% 50% ７５％
df1 = DataFrame({'name':['ZhangFei', 'GuanYu', 'a', 'b', 'c'], 'data1':range(5)})
print (df1.describe())
数据表合并
df1 = DataFrame({'name':['ZhangFei', 'GuanYu', 'a', 'b', 'c'], 'data1':range(5)})
df2 = DataFrame({'name':['ZhangFei', 'GuanYu', 'A', 'B', 'C'], 'data2':range(5)})
数据表合并用merge()，有五种形式
基于指定列进行连接
df3 = pd.merge(df1, df2, on='name') #基于 name 这列进行连接，把name这列，相同的整合到df3中
inner 内连接
df3 = pd.merge(df1, df2, how='inner') #inner 内链接是 merge 合并的默认情况，inner 内连接其实也就是键的交集，在这里 df1,
df2 相同的键是 name，所以是基于 name 字段做的连接
left 左连接
df3 = pd.merge(df1, df2, how='left') #左连接是以第一个 DataFrame 为主进行的连接，第二个 DataFrame 作为补充。
right 右连接
df3 = pd.merge(df1, df2, how='right') #右连接是以第二个 DataFrame 为主进行的连接，第一个 DataFrame 作为补充。
outer 外连接
df3 = pd.merge(df1, df2, how='outer') #外连接相当于求两个 DataFrame 的并集。
如何用 SQL 方式打开 Pandas
import pandas as pd
from pandas import DataFrame
from pandasql import sqldf, load_meat, load_births
df1 = DataFrame({'name':['ZhangFei', 'GuanYu', 'a', 'b', 'c'], 'data1':range(5)})
pysqldf = lambda sql: sqldf(sql, globals())
sql = "select * from df1 where name ='a'"
print (pysqldf(sql))
