Pandas里面数据表有三大类型：

• Series: 一维数据，类似于python中的基本数据的list或NumPy中的1D array。Pandas里最基本的数据结构
• DataFrame: 二维数据，DataFrame是Series的容器
• Panel：三维数据。Panel是DataFrame的容器

1.数据表的创建

• Series

# pd.Series(x, index=idx)
# 其中x可以是list、ndarray、dict
# index是默认参数，默认值为idx=range(0,len(x))
dates = pd.date_range('20190401',periods=4)
s = pd.Series([27.2,27.65,27.70,28], index=dates)

s = pd.Series( np.array([27.2, 27.65, 27.70, 28, 28, np.nan]) )

data_dict = { 'BABA': 187.07, 'PDD': 21.83, 'JD': 30.79, 'BIDU': 184.77 }
s = pd.Series(data_dict, name='股价')

s.values # 用s.values打印s中的元素
s.index # 用s.index打印s中的元素对应的索引
len(s) # len: s 里的元素个数
s.shape # shape: s 的形状 (用元组表示)
s.count()# count: s 里不含 nan 的元素个数
s.unique() # unique: 返回 s 里不重复的元素
s.value_counts() # value_counts: 统计 s 里非 nan 元素的出现次数

• DataFrame

# pd.DataFrame(x, index=idx, columns=col)
# 其中x可以是list、ndarray、dict、DataFrame
# index 是默认参数，默认值为 idx = range(0, x.shape[0])
# columns 是默认参数，默认值为 col = range(0, x.shape[1])
df = pd.DataFrame( [[1, 2, 3], [4, 5, 6]] )

df = pd.DataFrame( np.array([[1, 2, 3], [4, 5, 6]]) )

symbol = ['BABA', 'JD', 'AAPL', 'MS', 'GS', 'WMT']
data = {'行业': ['电商', '电商', '科技', '金融', '金融', '零售'],
        '价格': [176.92, 25.95, 172.97, 41.79, 196.00, 99.55],
        '交易量': [16175610, 27113291, 18913154, 10132145, 2626634, 8086946],
        '雇员': [101550, 175336, 100000, 60348, 36600, 2200000]}
df = pd.DataFrame( data, index=symbol )

df.values
df.columns
df.index
# 用df.describe()查看 DataFrame每栏的统计数据，一般做数据分析第一步会用这个表大概看看数据是否有缺失值 (每个栏下的 count 是否相等)？数据是否有异常值 (最小值 min 和最大值 max 是否太极端)？
df.describe()
# 用MultiIndex.from_tuples()可以赋予DataFrame多层索引，实际上增加了维度
df.index = pd.MultiIndex.from_tuples(
            [('中国公司','BABA'), ('中国公司','JD'), 
             ('美国公司','AAPL'), ('美国公司','MS'), 
             ('美国公司','GS'), ('美国公司','WMT')] )
df.loc['中国公司']

• Panel

# pd.Panel( x, item=itm,major_axis=n1,minor_axis=n2 ) 
# x 可以是list、ndarray、dict，其值是 DataFrame
# items 是默认参数 (axis 0)，默认值为 itm = range(0, number of DataFrame)
# major_axis 是默认参数 (axis 1)，默认值和 DataFrame 的默认 index 一样
# minor_axis 是默认参数 (axis 2)，默认值和 DataFrame 的默认 columns 一样
pn = pd.Panel(np.random.randn(2, 5, 4))

dates = pd.date_range('20190401',periods=4)

data = {'开盘价': [27.2, 27.65, 27.70, 28],
        '收盘价': [27.1, 27.55, 27.45, 28.1]}
df1 = pd.DataFrame( data, index=dates )

data = {'开盘价': [367, 369.8, 378.2, 380.6],
        '收盘价': [369.5, 370.1, 380, 382.1]}
df2 = pd.DataFrame( data, index=dates )

p_data = {'海底捞' : df1, '腾讯' : df2}
pn = pd.Panel(p_data)
pn['海底捞']

df = pd.concat([df1, df2])
code = ['海底捞', '腾讯']
midx = [ (c, d) for c in code for d in dates ] 
df.index =pd.MultiIndex.from_tuples( midx )

2.数据表的存载

# Excel
df = pd.DataFrame(np.array([[1, 2, 3], [4, 5, 6]]))
df.to_excel('pd_excel.xlsx', sheet_name='Sheet1')

df1 = pd.read_excel('pd_excel.xlsx', sheet_name='Sheet1')

# csv
df2 = pd.read_csv('pd_csv.csv')
dataframe = pd.DataFrame({'name_1':list_1,'name_2':list_2})
if os.path.exists(filepath):
    dataframe.to_csv(filepath, header=0, mode='a', index=False, sep=',')
else:
    dataframe.to_csv(filepath, mode='a', index=False, sep=',')

@ sep=',' 分隔符，如果不写，默认是‘,’
@ na_rep='NA' 缺失值保存为NA，如果不写，默认是空
@ float_format='%.2f'
@ columns=['name'] 保存索引列和name列
@ header=0 不保留列名
@ index=0 不保存行索引

3.数据表的索引和切片

DataFrame 的索引或切片可以基于标签 (label-based) ，也可以基于位置 (position-based)，不像 numpy 数组的索引或切片只基于位置。
可用.reset_index()函数重置index。

# 索引单元素
df.at['BABA', '交易量']
df.iat[0, 0]

# 切片 columns
df.价格
df['价格']
df.loc[:, '价格']
df.iloc[:, 1]
df[['价格', '交易量']]
df.loc[:, '交易量':'价格']
df.iloc[:, 0:2]

# 切片 index 和 columns
df.loc[ df.雇员 >= 100000, : ]
df[ df.雇员 >= 100000 ]
df.loc[ :, df.dtypes == 'int64' ]
df.loc[ lambda x: x.交易量 > x.交易量.mean() , : ]
df.loc[ lambda x: (x.交易量 > x.交易量.mean()) & (x.价格 > 100), : ]

# 提取data数据(筛选条件: A列中数字为0所在的行数据)
data.loc[data['A']==0]
data[data['A'].isin([0])]
data.loc[(data['A']==0)&(data['B']==2)] # 提取data数据(多个筛选条件)
data[(data['A'].isin([0]))&(data['B'].isin([2]))] # isin函数

# 取表中index是6的倍数的行
df.loc[::6]

• dataFrame 按列值排序df.sort_values
• dataFrame 按索引排序df.sort_index

4.数据表的重塑和透视

重塑 (reshape) 和透视 (pivot) 两个操作只改变数据表的布局 (layout)，重塑用 stack 和 unstack 函数 (互为逆转操作)，列索引 → 行索引，用 stack 函数，行索引 → 列索引，用 unstack 函数。

# 透视用 pivot 和 melt 函数 (互为逆转操作)
all_pivot = data.pivot( index=idx, columns='' )
melted_data = pd.melt( data, id_vars=['Date','Symbol'] )

5.数据表的分组和整合

# 分组
grouped2 = data1.groupby(['Symbol', 'Year', 'Month'])
grouped.ngroups # 组的个数 (int)
grouped.size() # 每组元素的个数 (Series)
grouped.groups # 每组元素在原 DataFrame 中的索引信息 (dict)
grouped.get_groups('') # 标签 label 对应的数据 (DataFrame)
grouped.mean()

# 整合
result = grouped.agg( [np.mean, np.std] )

apply()

6.DataFrame的合并、连接操作

• concat：沿着一条轴，将多个对象堆叠到一起，相当于数据库中的全连接（union all）。可以指定连接的方式（outer join或inner join），也可以指定按照某个轴进行连接。
  与数据库不同的是，它不会去重，但是可以使用drop_duplicates方法达到去重的效果。

# objs：需要连接的对象集合，一般是列表或字典；
# axis：axis = 0 (默认)，沿着行连接，得到一个更长的 Series；axis = 1，沿着列连接，得到一个 DataFrame
# join：参数为‘outer’或‘inner’；
# join_axes=[]：指定自定义的索引；
# keys=[]：创建层次化索引；
# ignore_index=True：重建索引

pd.concat(objs=[df1,df2], axis=0, join='outer', join_axes=None, ignore_index=False, 
       keys=None, levels=None, names=None, verify_integrity=False, copy=True)

• merge：通过键拼接列
  类似于关系型数据库的连接方式，可以根据一个或多个键将不同的DatFrame连接起来。
  典型应用场景：针对同一个主键存在两张不同字段的表，根据主键整合到一张表里面。

# left和right：两个不同的DataFrame；
# how：连接方式，inner—共有键；outer—所有键；left、right，默认为inner；
# on：指的是用于连接的列索引名称，必须存在于左右两个DataFrame中，如果没有指定且其他参数也没有指定，则以两个DataFrame列名交集作为连接键；
# left_on：左侧DataFrame中用于连接键的列名，这个参数左右列名不同但代表的含义相同时非常的有用；
# right_on：右侧DataFrame中用于连接键的列名；
# left_index：使用左侧DataFrame中的行索引作为连接键；
# right_index：使用右侧DataFrame中的行索引作为连接键；
# sort：默认为True，将合并的数据进行排序，设置为False可以提高性能；
# suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为('_x', '_y')；
# copy：默认为True，总是将数据复制到数据结构中，设置为False可以提高性能；
# indicator：显示合并数据中数据的来源情况

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,  
      left_index=False, right_index=False, sort=True, suffixes=('_x', '_y'), copy=True, indicator=False)

• join：主要用于索引上的合并

pd.join(self, other, on=None, how='left', lsuffix='', rsuffix='',sort=False)

7.Numpy array数组操作

• 通过初始化得到数组

zeros = np.zeros(3)
ones = np.ones((3,2,2))
random = np.random.random((3,2))

• 通过赋值得到数组

data = np.array([ [[1,2],[3,4]],
            [[5,6],[7,8]] ])

• 点乘

data.dot(ones)

• axis 参数执行跨行或跨列聚合

random.max(axis=0) # 按列聚合
random.max(axis=1) # 按行聚合

• 矩阵转置

ones.T

• 矩阵重塑

random.reshape(2,3)

• 将两个array拼接起来

arr = np.hstack((arr1,arr2))
arr = np.c_[arr1 ,arr2]

8.数据类型转换

将pandas Series或index转换为Numpy数组
to_numpy()
Series.values
.array
将Numpy array转成pandas Dataframe
df = pd.DataFrame(a.toarray())

9.set和list的比较

增：list.append(x)或者list.insert(i,x)、set.add(x)
删：list.pop(i)或者list.remove(x)或者del list[i]、set.remove(x)或者set.pop()无序不加index
改：list[i] = x、set.update(set)

注意：创建空set只能a = set()不能用{}

10.pandas 统计某一列中各个值的出现次数

df2 = df1.colname.value_counts()  
print(df2)