python 机器学习的基础库 numpy 和 pandas 定义了3种非常适合矩阵运算的数据结构：numpy.ndarray 、pandas.Series、pandas.DataFrame
它们之间有着很强的相关性
import pandas as pd
series = pd.Series([1, 2, 3, 4])
dataFrame = pd.DataFrame([[1, 2], [3, 4]])
- ndarray: 这是最基础的类型，本质上就是一个n维矩阵
-
Series:它主要由两部分组成，index 和 values
index是它的索引，在上面示例中的series由于没有指定index因此默认为[0, 1, 2, 3]，索引可以是任意类型，不一定非是数字类型
values是它存放的内容，是一个1维的ndarray -
DataFrame: 可以将它看作是多列Series组成的，也可以看作是多行Series组成。或者可以看作主要由三部分组成，columns, index, values
columns 是它的列名，默认也是数字升序，可以是任意类型
index 是它的行名，默认数字升序，可以是任意类型
values 是它存放的内容，是一个2维的ndarray
虽然这几种数据类型非常适合处理大数据，但是没能高效的使用它们会导致难以忍受的时间开销和空间开销
需要避免的几种操作
1. 大量的拼接操作
很多人想要在最终结果获得一个DataFrame类型的数据，就直接初始化一个空的DataFrame，每获得一条新数据，就对其进行拼接，获得最终的结果
实际上这3种数据类型非常不适合拼接
import pandas as pd
import time
time_start = time.time()
a = pd.Series()
for i in range(10000):
a = pd.concat([a, pd.Series([i])])
time_end = time.time()
print("直接拼接", time_end - time_start)
time_start = time.time()
b = [0]
for i in range(10000):
b.append(i)
pd.Series(b)
time_end = time.time()
print("list转换", time_end - time_start)
同样生成一个0到10000的Series
时间：
直接拼接 4.054653882980347
list转换 0.0050258636474609375
可以很明显的看到它们的时间差
2. 循环
我们用DataFrame 和 Series时候应该尽量用矩阵计算来代替循环操作
因为这几种数据类型本身就是为矩阵运算而设计的，矩阵运算的效率非常高
另外，Series的花式索引也是代替循环的一种好的方法：
meanMr = titanic.Age[titanic.Name == 'Mr'].mean()
这里的 titanic.Name == 'Mr' 会生成一个与titanic.Name 这个Series相同大小的Series，但是由True 和 False组成
titanic.Age中传入该索引，会留下索引中True那些项
所以 meanMr 获得的是 名字为Mr 的人的age的均值
推荐使用的操作
它们有大量内置的集合运算，可以求 交集，并集等，但是没有求补集的方法。
它们有大量用于查询的运算，类似SQL语句，有groupby语法，有sum average mean 等聚合函数
first_mention_id = first_df.groupby('mention_id')['label'].agg(['count', 'sum'])
first_mention_id = first_mention_id.index[(first_mention_id['count'] == 2) & (first_mention_id['sum'] == 1)]
first_df 是一个DataFrame 有 mention_id label 等列
这里的first_mention_id 就获得了有两个label 并且两个label加和为1的所有mention_id
