聚沙成塔--数据分析(三)(pandas基本函数的介绍)

版权声明:本文为作者原创文章,可以随意转载,但必须在明确位置标明出处!!!

前两篇文章讲了pandas的基本数据结构Series,DataFrame。还有一种Panel结构没有介绍,Panel因为用的比较少,这里先不对它做介绍,本篇文章主要是介绍一下pandas中的基本函数

add、sub、mul、div

这里最需要理解的是axis(轴)的概念,官方解释:轴用来为超过一维的数组定义的属性,二维数据拥有两个轴:第0轴沿着行方向垂直往下延伸,第1轴沿着列的方向水平延伸。
先看个例子。

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

row = df.iloc[1]

print(df.sub(row, axis=1))

OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
   one  three  two
a -1.0    NaN -1.0
b  0.0    0.0  0.0
c  1.0    1.0  1.0
d  NaN    2.0  2.0

按照定义,轴为1是按照列的方向水平延伸,那么计算逻辑就是1.0 - 2.0 = -1.0;2.0-2.0=0.0;3.0-2.0 = 1.0;NaN - 2.0 = NaN。我们在看看axis=0时的结果:

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

col = df['one']

print(df.sub(col, axis=0))

OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
   one  three  two
a  0.0    NaN  3.0
b  0.0    6.0  3.0
c  0.0    6.0  3.0
d  NaN    NaN  NaN

按照定义轴为0是安装行的方向垂直向下延伸,所以应该是1.0-1.0= 0.0; NaN - 1.0 =NaN;4.0 - 1.0 = 3.0;可能很多人都会去记axis=1代表的是行,axis=0代表的是列,如果你是这样记的那么下面这种情况你就懵了。

drop、mean

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

print(df.drop('one', axis=1))

OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
   three  two
a    NaN    4
b    8.0    5
c    9.0    6
d   10.0    7

这里删除一列axis指定的是1,如果你把1记成一行的话那不就只删除了1.0了吗?所以这里的意思是按照one这一列的方向,水平删除每行对应的值,所以如果你要删除某行,你需要这样做df.drop('a', axis=0); 当然mean求平均值也是一个道理。

radd、rsub、rmul、rdiv

add、sub、mul、div、都是用DataFrame中的数据去加、减、乘、除选定的行或列,而radd、rsub、rmul、rdiv与之相反。

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

row = df.iloc[1]

print(df.rsub(row, axis=1))

OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
   one  three  two
a  1.0    NaN  1.0
b  0.0    0.0  0.0
c -1.0   -1.0 -1.0
d  NaN   -2.0 -2.0

填充缺省数据

缺省数据的填充可以是用使用函数选项fill_value,也可以使用函数fillna, 使用fill_value选项,如果两个DataFrame数据结构在相同索引位置都为NaN,那么它不会你指定的值去填充

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

print(df.add(df, fill_value=0.0))
OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
   one  three  two
a  2.0    NaN    8
b  4.0   16.0   10
c  6.0   18.0   12
d  NaN   20.0   14

可以从结果中看到NaN依然没有被0.0填充。如果使用fillna就不会出现这种情况

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

print(df.add(df).fillna(0))
OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
   one  three  two
a  2.0    0.0    8
b  4.0   16.0   10
c  6.0   18.0   12
d  0.0   20.0   14

判断两个DataFrame是否相等使用equals

判断两个DataFrame数据结构是否相等不能用==来判断,因为它是两个对象并不是简单数据类型之间的比较。

import pandas as pd
import numpy as np

data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}


df = pd.DataFrame(data)

print(df)

print(df + df == df * 2)

print('----------------------')

print((df + df).equals(df * 2))
OUT:
   one  three  two
a  1.0    NaN    4
b  2.0    8.0    5
c  3.0    9.0    6
d  NaN   10.0    7
     one  three   two
a   True  False  True
b   True   True  True
c   True   True  True
d  False   True  True
----------------------
True

需要注意的是不管是Series还是DataFrame使用equals函数时它们的index顺序也必须一致才能判断其两个数据结构之间的数值是相等的。

import pandas as pd
import numpy as np

# data = {'one':{'a':1, 'b':2, 'c':3}, 'two':{'a':4, 'b':5, 'c':6, 'd':7}, 'three':{'b':8, 'c':9, 'd':10}}

df1 = pd.DataFrame({'col':['foo', 0, np.nan]})
df2 = pd.DataFrame({'col':[np.nan, 0, 'foo']}, index=[2,1,0])


print(df1.equals(df2))

print(df1.equals(df2.sort_index()))
OUT
False
True

当然pandas还提供了很多统计之列的函数,这里就不一一做出介绍,无论怎么多动手准没错。本章最重要的是要去理解轴的概念。


欢迎关注我:「爱做饭的老谢」,老谢一直在努力...

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容