Merging DataFrames
语法如下：
merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True,
suffixes=('_x', '_y'), copy=True, indicator=False)
参数说明：
- left 与 right：两个不同的 DataFrame
- how：指的是合并(连接)的方式有 inner(内连接), left(左外连接), right(右外连接), outer(全外连接); 默认为 inner
- on: 指的是用于连接的列索引名称。必须存在右右两个 DataFrame 对象中，如果没有指定且其他参数也未指定则以两个 DataFrame 的列名交集做为连接键
- left_on：左则 DataFrame 中用作连接键的列名;这个参数中左右列名不相同，但代表的含义相同时非常有用。
- right_on：右则 DataFrame 中用作 连接键的列名
- left_index：使用左则 DataFrame 中的行索引做为连接键
- right_index：使用右则 DataFrame 中的行索引做为连接键
- sort：默认为 True，将合并的数据进行排序。在大多数情况下设置为 False 可以提高性能
- suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为 ('_x','_y')
- copy：默认为 True，总是将数据复制到数据结构中；大多数情况下设置为False可以提高性能
- indicator：在 0.17.0 中还增加了一个显示合并数据中来源情况；如只来自己于左边(left_only)、两者(both)
Idiomatic Pandas: Making Code Pandorable
用连续的函数加换行增加代码的可读性：
(df.where(df['SUMLEV']==50)
.dropna()
.set_index(['STNAME','CTYNAME'])
.rename(columns={'ESTIMATESBASE2010': 'Estimates Base 2010'}))
注意到，给 column 重命名的代码：df.rename(column={'original_name': 'new_name'})。
Group by
- 遍历 groupby，用
for group, frame in df.groupby('NAME’)，group 是分组的依据，如果 ’NAME’ 是一个函数，那么 group 就是 return 的值；frame 是每一个 NAME 后面的 DataFrame。要数每一个的个数，就用len(frame)。 -
groupby(level=0), if the axis is a MultiIndex (hierarchical), group by a particular level or levels. -
df.groupby('Category').apply(lambda df,a,b: sum(df[a] * df[b]), 'Weight (oz.)', 'Quantity'). It uses function on certain column and output after groupby.
Scales
- Ratio scale: units are equally spaced; mathematical operations of +-*/ is valid. e.g. weight and height.
- Interval scale: units are equally spaced; it cannot use operations of * and /. e.g. 1-5 in the questionnaire.
- Ordinal scale: the order of units are important but not evenly spaced. e.g. letter grade A+, A and A-.
- Nominal scale: category of data, but category has no order. e.g. teams of a sport.
-
df['Grades'].astype('category'), transfer to categorical data. Or,grades = df['Grades'].astype('category', categories=['D', 'D+', 'C-', 'C', 'C+', 'B-', 'B', 'B+', 'A-', 'A', 'A+'], ordered=True), make category in ascending order. -
s = pd.Series([168, 180, 174, 190, 170, 185, 179, 181, 175, 169, 182, 177, 180, 171]). Use pd.cut to bin this data into 3 bins (we can also label them):pd.cut(s, 3, labels=['Small', 'Medium', 'Large']).
Pivot Tables
语法如下：
pivot_table(df, values=, index=, columns=, aggfunc=np.mean, margins=False)
if margins=True, special All(default is np.mean) columns and rows will be added with partial group aggregates.
Date Functionality
Timestamp:
pd.Timestamp('9/1/2016 10:05AM')Period:
pd.Period('1/2016')orpd.Period('3/5/2016')Datetime index:
pd.Series(list('abc'), [pd.Timestamp('2016-09-01'), pd.Timestamp('2016-09-02'), pd.Timestamp('2016-09-03')])
output:
2016-09-01 a
2016-09-02 b
2016-09-03 c
dtype: object
- Similarly, period index:
pd.Series(list('def'), [pd.Period('2016-09'), pd.Period('2016-10'), pd.Period('2016-11')]) - Converting to datetime:
pd.to_datetime(arg, dayfirst=False, yearfirst=False) - Timedeltas:
pd.Timestamp('9/2/2016 8:10AM') + pd.Timedelta('12D 3H')
Working with Dates in Dataframe
Date range:
pd.date_range(start=None, end=None, periods=None, freq=’D’, tz=None, normalize=False, name=None, closed=None).freq: (freq aliases in the attachment image)
tz: Time zone name for returning localized DatetimeIndex, for example Asia/Hong_Kong.
closed: Make the interval closed with respect to the given frequency to the ‘left’, ‘right’, or both sides (None).
Example:
dates = pd.date_range('10-01-2016', periods=9, freq='2W-SUN')查看 index 分别是星期几：
df.index.weekday_name.直接进行差分，比如求 return：
df.diff().Resample:
df.resample(rule, fill_method=None, closed=None, label=None). closed/lable: ‘left’ or ‘right’.Example: 归总求每个月的均值
df.resample('M').mean().Query with date:
df['2016-12']ordf['2016-12':].重新排列 freq:
df.asfreq(freq, method=None). Method=‘bfill’/‘ffill’.
Other
- 把 DataFrame 里的 a 换成 b：
df.replace('a', 'b') - 替换 DataFrame 里有一定规律的字符串：
.代表任意字符；*代表 0 个以上重复字符；+代表 1 个以上重复字符；[]表示 list 里面出现的都替换掉；具体参见文档字符串说明。 - Groupby 以后计数或求均值等：
gourpby('column_A').agg({'column_B': ['size', 'sum'], 'column_C':['count', 'mean', 'max']})
