大师兄的数据分析学习笔记(十):特征预处理(一)
大师兄的数据分析学习笔记(十二):特征预处理(三)
三、特征选择
- 特征选择是数据规约的一种处理方式(抽样是另一种规约的处理方式)。
- 特征选择的含义是,剔除不相关或冗余的特征,减少特征的个数。
- 特征选择可以减少模型训练的时间和过拟合,甚至提升模型的准确度。
- 特征选择通常通过统计学方法或者数据模型特征,进行与标签影响大小的排序后,剔除排序靠后的特征,进行数据降维。
- 特征选择通常在特征处理之前,或在特征变换后进行。
1. 过滤思想
- 过滤思想就是直接评价某个特征与标注的相关性特征。
- 如果与标注的相关性小则去掉。
- 在下方的案例中,过滤掉了Age特征:
>>>import os
>>>import pandas as pd
>>>from sklearn.feature_selection import SelectKBest
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]] # 特征
>>>Y = df.loc[:, "JobSatisfaction"] # 标注
>>>skb = SelectKBest(k=2) # 过滤思想
>>>skb.fit(X, Y) # 拟合
>>>print(skb.transform(X))
[[ 2 94]
[ 1 61]
[ 2 92]
...
[ 3 87]
[ 3 63]
[ 3 82]]
2. 包裹思想
- 包裹思想就是假设所有的特征是个集合x, 最佳的特征集合是x的一个子集,目标是找到这个子集。
- 包裹思想首先要确定一个评价指标,再遍历特征子集找到这个评价指标下最佳的子集。
- 也可以先将x拆分成数个大子集,在针对最优的特征子集不断迭代拆分,直到评价指标下降过快或低于阈值。
- 包裹思想下常用的方法是RFE(recursive feature elementation):
第一步:列出集合x。
第二步:构造简单的模型进行训练,根据系数去掉比较弱的特征。
第三步:余下的特征重复这个过程吗,直到评价指标下降较大或低于阈值。
- 同样的输数据,用RFE留下的特征是Age和Education:
>>>import os
>>>import pandas as pd
>>>from sklearn.svm import SVR
>>>from sklearn.feature_selection import RFE
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]] # 特征
>>>Y = df.loc[:, "JobSatisfaction"] # 标注
>>>rfe = RFE(estimator=SVR(kernel="linear"), n_features_to_select=2, step=1) # 包括思想
>>>print(rfe.fit_transform(X,Y))
[[41 2]
[49 1]
[37 2]
...
[27 3]
[49 3]
[34 3]]
3. 嵌入思想
- 嵌入思想中嵌入的主体是一个特征,被嵌入的实体是一个简单模型。
- 也就是根据一个简单的模型来分析特征的重要性。
- 常用正则化的方式来做特征选择。
- 同样的数据,用嵌入思想,去掉了“Education”特征:
>>>import os
>>>import pandas as pd
>>>from sklearn.tree import DecisionTreeRegressor
>>>from sklearn.feature_selection import SelectFromModel
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]] # 特征
>>>Y = df.loc[:, "JobSatisfaction"] # 标注
>>>sfm = SelectFromModel(estimator=DecisionTreeRegressor(), threshold=0.2) # 嵌入思想
>>>print(sfm.fit_transform(X, Y))
[[41 94]
[49 61]
[37 92]
...
[27 87]
[49 63]
[34 82]]