大师兄的数据分析学习笔记(十）：特征预处理（一）
大师兄的数据分析学习笔记(十二）：特征预处理（三）
三、特征选择
- 特征选择是数据规约的一种处理方式(抽样是另一种规约的处理方式)。
- 特征选择的含义是，剔除不相关或冗余的特征，减少特征的个数。
- 特征选择可以减少模型训练的时间和过拟合，甚至提升模型的准确度。
- 特征选择通常通过统计学方法或者数据模型特征，进行与标签影响大小的排序后，剔除排序靠后的特征，进行数据降维。
- 特征选择通常在特征处理之前，或在特征变换后进行。
1. 过滤思想
- 过滤思想就是直接评价某个特征与标注的相关性特征。
- 如果与标注的相关性小则去掉。
- 在下方的案例中，过滤掉了Age特征：
>>>import os
>>>import pandas as pd
>>>from sklearn.feature_selection import SelectKBest
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]] # 特征
>>>Y = df.loc[:, "JobSatisfaction"] # 标注
>>>skb = SelectKBest(k=2) # 过滤思想
>>>skb.fit(X, Y) # 拟合
>>>print(skb.transform(X))
[[ 2 94]
[ 1 61]
[ 2 92]
...
[ 3 87]
[ 3 63]
[ 3 82]]
2. 包裹思想
- 包裹思想就是假设所有的特征是个集合x, 最佳的特征集合是x的一个子集，目标是找到这个子集。
- 包裹思想首先要确定一个评价指标，再遍历特征子集找到这个评价指标下最佳的子集。
- 也可以先将x拆分成数个大子集，在针对最优的特征子集不断迭代拆分，直到评价指标下降过快或低于阈值。
- 包裹思想下常用的方法是RFE(recursive feature elementation):
第一步：列出集合x。
第二步：构造简单的模型进行训练，根据系数去掉比较弱的特征。
第三步：余下的特征重复这个过程吗，直到评价指标下降较大或低于阈值。
- 同样的输数据，用RFE留下的特征是Age和Education:
>>>import os
>>>import pandas as pd
>>>from sklearn.svm import SVR
>>>from sklearn.feature_selection import RFE
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]] # 特征
>>>Y = df.loc[:, "JobSatisfaction"] # 标注
>>>rfe = RFE(estimator=SVR(kernel="linear"), n_features_to_select=2, step=1) # 包括思想
>>>print(rfe.fit_transform(X,Y))
[[41 2]
[49 1]
[37 2]
...
[27 3]
[49 3]
[34 3]]
3. 嵌入思想
- 嵌入思想中嵌入的主体是一个特征，被嵌入的实体是一个简单模型。
- 也就是根据一个简单的模型来分析特征的重要性。
- 常用正则化的方式来做特征选择。
- 同样的数据，用嵌入思想，去掉了“Education”特征：
>>>import os
>>>import pandas as pd
>>>from sklearn.tree import DecisionTreeRegressor
>>>from sklearn.feature_selection import SelectFromModel
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]] # 特征
>>>Y = df.loc[:, "JobSatisfaction"] # 标注
>>>sfm = SelectFromModel(estimator=DecisionTreeRegressor(), threshold=0.2) # 嵌入思想
>>>print(sfm.fit_transform(X, Y))
[[41 94]
[49 61]
[37 92]
...
[27 87]
[49 63]
[34 82]]
