1.查看基本信息
1.df.info()
user_infor=pd.read_csv("new_infor.csv",index_col="索引名") #index_col是指定原表列做索引
user_infor.info()
输出:<class 'pandas.core.frame.DataFrame'>
Int64Index: 8 entries, 0 to 7 # 描述索引:长度为8,0-7
Data columns (total 5 columns): # 数据共5列
# Column Non-Null Count Dtype # Non-Null代表非缺失数据个数
--- ------ -------------- -----
0 Hero Name 8 non-null object
1 Age 8 non-null int64
2 Sex 8 non-null object
3 Birthplace 8 non-null object
4 weapon 8 non-null object
dtypes: int64(1), object(4) # 不同数据类型数量统计
memory usage: 384.0+ bytes
2.df.head(num) #查看头部几行
df.tail(n) #尾部几行
3.df.shape #查看形状
4.df.T #矩阵转置,注意与tail和head的连用
5.df.values 转为ndarray
2.描述与统计
2.1 常用统计指标
指标 | 描述 |
---|---|
count() | 计数项 |
first()、last() | 第一项和最后一项 |
mean()、median() | 均值与中位数 |
min()、max() | 最大值与最小值 |
mode() | 众数 |
std()、var() | 标准差与方差 |
mad() | 均值绝对偏差 |
prod() | 所有项乘积 |
sum() | 所有项求和 |
语法: df.指标函数()
注意:
1)Numpy没有众数方法,其他Numpy方法用法:np.指标方法(数据)
2)DF中的列可以取出后相加,就像矩阵相加
#生成第二个总分列,计算语文+数学成绩的总分,命名为‘总分2’
grade['总分2'] = grade['语文']+grade['数学']
#计算每个同学的‘数学减去语文’的成绩,取绝对值,命名为‘文理偏科值’。
np.abs(grade['数学']-grade['语文'])
2.2 df.describe() 批量返回数值列统计指标
grade=pd.read_csv('student_grade.txt',sep='\t')
# 只支持数值列,dtypes:数值
grade.describe()
如果想要查看非数字类型的列的统计指标,可以设置
include=["object"]
来获得。2.3 Series.value_counts() 查看频率
1.查看某列数据频率
DF对象['列名'].value_counts()
2.查看多列:先取DF对象的列List,再查看
c=[]
for i in user_infor.columns:
d=user_infor[i].value_counts()
c.append(d)
---
输出:
索尔 1
黑寡妇 1
神奇女侠 1
奇异博士 1
钢铁侠 1
灭霸 1
蜘蛛侠 1
蝙蝠侠 1
Name: Hero Name, dtype: int64
---
3.离散化
3.1 pd.cut()
将数据按标准分段(分箱),区间默认为左开右闭
3.2 pd.qcut()
除了可以使用 cut 进行离散化之外,qcut 也可以实现离散化。cut 是根据每个值的大小来进行离散化的,qcut 是根据每个值出现的次数来进行离散化,也就是基于分位数的离散化功能。
4.排序
4.1 df.sort_index()
df.sort_index() #按索引标签默认升序
df.sort_index(ascending=False) #按索引标签降序排
4.2 df.sort_values()
按给定值排,多条件用[]嵌套
user_info.sort_values(by = ['Age',"Power"],ascending = [False,True])
4.3 series.nlargest(n)
取最大的n行数据
5. 函数应用及映射
5.1 Series.map()
1)利用字典去对应(映射)更改列值(区别于直接修改的一一对应)
2)利用自定义函数
5.2 Series.apply()和df.apply()
apply 方法既支持 Series,也支持 DataFrame,在对 Series 操作时会作用到每个值上,在对 DataFrame 操作时会作用到所有行或所有列(通过 axis参数控制)。
# 对 Series 来说,如果使用自定义函数映射的方法,apply 方法 与 map 方法区别不大。
earth_city=['纽约','费城','纽约','哥谭','天堂岛',"斯大林格勒","科罗拉多州"]
def func(x):
if x in earth_city:
return "地球人"
else:
return "外星人"
heros.Birthplace.apply(func) #这里只是将上一小节中的Series.map()换成了.apply(),其余代码一样
对 DataFrame 来说,apply 方法的作用对象是一行或一列数据(一个Series)
- axis为0或'index':将函数应用于每列。
- axis为1或'columns':将函数应用于每一行。
def max_01(x):
return x.max()
# heros.Sex.value_counts()[0]
heros.apply(func=max_01,axis=0)
输出:
Hero Name 黑寡妇
Age 3000
Sex 男
Birthplace 阿斯加德
weapon 魔法
Power 140
dtype: object
pandas中map()、apply()、applymap()的区别:
- map()方法适用于Series对象,可以通过字典或函数类对象来构建映射关系对Series对象进行转换;
- apply()方法使用与Series对象、DataFrame对象、Groupby对象,处理的是行或列数据(本质上处理的是单个Series),用函数类对象来构建映射关系对Series对象进行转换;
- applymap()方法用来处理DataFrame对象的单个元素值,也是使用函数类对象映射转换;