在介绍决策树、随机森林算法时,小鱼使用的一直都是分类任务。从本篇文章开始,小鱼会在连载中更新基于随机森林的气温预测任务,根据历史数据来预测某一天的气温。
注:气温为连续值,接下来关于气温预测的任务也是回归任务。
读取数据
读取本次任务的数据集:
import pandas as pd
import os
df = pd.read_csv("data" + os.sep + "temps.csv")
df.head()
数据集中的前 5 条数据如下:
数据特征介绍:
-
year
moth
day
week
表示日期 -
temp_2
前天的温度 -
temp_1
昨天的温度 -
average
在历史当中,每年这一天的平均温度 -
actual
当天的真实温度,也是我们本次任务预测的标签 -
friend
凑热闹的一列,相当于噪声
当前数据集一共 348 个样本,9 列中包含了 8 个特征和 1 个标签值。
>> df.shape
(348, 9)
观察数值型指标的统计特性:
df.describe()
其中年份的标准差为 0 ,这是因为所有样本都是 2016 年的数据。此外,对于时间特征,在预处理时,我们往往需要组合或者拆分。
拆分是为了提取特征,而组合则是为了绘图分析所服务的。在绘图或者计算的过程中,需要标准的时间格式:
from datetime import datetime
dates = [datetime(year,month,day) for year,month,day in zip(df.year, df.month, df.day)]
得到的 datetime 日期如下:
>> dates[:5]
[datetime.datetime(2016, 1, 1, 0, 0),
datetime.datetime(2016, 1, 2, 0, 0),
datetime.datetime(2016, 1, 3, 0, 0),
datetime.datetime(2016, 1, 4, 0, 0),
datetime.datetime(2016, 1, 5, 0, 0)]
观察特征
导入画图工具,并设置绘图风格:
import matplotlib.pyplot as plt
# plt.style.available
# 指定默认风格
plt.style.use("seaborn-whitegrid")
%matplotlib inline
绘图观察真实气温、前一天气温以及 2 天前气温、噪音列和日期的关系。
# 设置布局
fig, ((ax1, ax2), (ax3, ax4)) = plt.subplots(nrows=2, ncols=2, figsize=(10,6), dpi=80)
fig.autofmt_xdate(rotation = 45)
# 标签值
ax1.plot(dates, df.actual, linewidth=1, color='red')
ax1.set_xlabel('')
ax1.set_ylabel('Temperature')
ax1.set_title('Temp')
# 昨天
ax2.plot(dates, df.temp_1, linewidth=1, color='red')
ax2.set_xlabel('')
ax2.set_ylabel('Temperature')
ax2.set_title('Previous Temp')
# 前天
ax3.plot(dates, df.temp_2,linewidth=1, color='red')
ax3.set_xlabel('Date')
ax3.set_ylabel('Temperature')
ax3.set_title('Two Days Prior Temp')
# 噪声
ax4.plot(dates, df.friend, linewidth=1, color='red')
ax4.set_xlabel('Date')
ax4.set_ylabel('Temperature')
ax4.set_title('Friend Estimate')
绘制结果:
温度相关的特征无异常情况,分布基本上是一致的。friend
列虽然也是气温,但其分布与 actual
temp_1
和 temp_2
明显不同, friend
列可以作为噪声剔除。
数据预处理
原始数据中在 week
列中并不是一些数值特征,而是表示周几的字符串,这些计算机可不认识,需要我们来转换一下 。
>> df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 348 entries, 0 to 347
Data columns (total 9 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 year 348 non-null int64
1 month 348 non-null int64
2 day 348 non-null int64
3 week 348 non-null object
4 temp_2 348 non-null int64
5 temp_1 348 non-null int64
6 average 348 non-null float64
7 actual 348 non-null int64
8 friend 348 non-null int64
dtypes: float64(1), int64(7), object(1)
memory usage: 24.6+ KB
该列中的值为 object 类型,存放的都是星期几这样的属性值:
week |
---|
Mon |
Tue |
Wed |
Thu |
Fri |
需要使用独热编码进行转换:
Mon | Tue | Wed | Thu | Fri |
---|---|---|---|---|
1 | 0 | 0 | 0 | 0 |
0 | 1 | 0 | 0 | 0 |
0 | 0 | 1 | 0 | 0 |
0 | 0 | 0 | 1 | 0 |
0 | 0 | 0 | 0 | 1 |
使用独热编码处理之后, week
列将被拆分成由不同属性值构成的所列。对于某个特定的样本,只有样本属性对应的属性列为 1,其余列全部为 0 ,所以又称为独热编码。
>> df= pd.get_dummies(df)
>> df.head()
度热编码之后的数据集:
划分训练集与测试集:
from sklearn.model_selection import train_test_split
y = df.actual
X = df.drop("actual", axis=1)
feature_list = list(df.columns)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
训练集与测试集样本个数:
>> print('训练集特征:', X_train.shape)
训练集特征: (261, 14)
>> print('训练集标签:', y_train.shape)
训练集标签: (261,)
>> print('测试集特征:', X_test.shape)
测试集特征: (87, 14)
>> print('测试集标签:', y_test.shape)
测试集标签: (87,)
随机森林建模
下面,我们先不进行调参,先从建模、训练、预测、评估、可视化整体来一遍,了解一下流程。
from sklearn.ensemble import RandomForestRegressor
rfr = RandomForestRegressor(n_estimators=1000, random_state=0)
rfr.fit(X_train, y_train)
在测试集进行预测,并使用 MAPE 绝对百分比误差来评估此回归任务的结果。
# 预测结果
>> predictions = rfr.predict(X_test)
# 计算误差
>> errors = abs(predictions - y_test)
# MAPE(Mean Absolute Percentage Error)
>> mape = errors / y_test
>> print(f'MAPE:{mape.mean():.2%}')
MAPE:6.08%
绝对百分比误差 MAPE 可以表示当前模型的绝对误差有多少,MAPE 越小则损失越小,模型越优秀。
随机森林有一个非常大的好处,经过随机森林建模之后,通过模型可以得到特征的重要性排名。
feature_df = pd.DataFrame({
'features': rfr.feature_names_in_,
'importances': rfr.feature_importances_
})
feature_df.sort_values(by='importances',ascending=False)
从输出结果来看,前 3 个最重要的特征分别是 temp_1
average
temp_2
。
通过柱形图,直观地展示特征的重要性。
feature_df.plot(kind='bar')
# X轴名字
plt.xticks(feature_df.index, feature_df.features, rotation="vertical")
# 图名
plt.xlabel('Features')
plt.title('Features Importances')
昨天的温度 temp_1
和历史中这一天的平均温度 average
是两个重要层度非常突出的指标。
有的时候,我们为了提高效率,也会选择最重要的几个特征来进行建模。下面,小鱼极端地使用两个特征进行建模,来看看绝对百分比误差 MAPE 的变化。
# 选择最重要的那2个特征来试试
rfr_most_important = RandomForestRegressor(n_estimators=1000, random_state=0)
important_feature = ['temp_1', 'average']
# 重新训练模型
rfr_most_important.fit(X_train.loc[:,important_feature], y_train)
# 预测结果
predictions = rfr_most_important.predict(X_test.loc[:, important_feature])
# 评估结果
errors = abs(predictions - y_test)
mape = errors / y_test
print(f'mape:{mape.mean():.2%}')
为了公平起见,建模时使用了相同的随机数种子。使用最重要的两个特征建模,得到的绝对百分比误差为:
MAPE:6.38%
使用少数重要特征建模虽然比使用全部特征建模的损失增大了,但增加的损失并不多,但可以换来时间成本。
最后,我们还可以通过绘图的方式,来直观地看到目前真实值同预测值之间的差异情况。
定义两个 DataFrame 分别存储日期和真实值、日期和预测值:
test_dates = [datetime(year,month,day) for year,month,day in zip(X_test.year, X_test.month, X_test.day)]
predictions_data = pd.DataFrame({'date':test_dates, 'prediction':predictions})
true_data = pd.DataFrame({'date':dates, 'actual':y})
绘图:
plt.plot(true_data['date'], true_data['actual'], color='blue', linestyle='-', linewidth=1.5, label='actual')
plt.plot(predictions_data['date'], predictions_data['prediction'], 'ro', label='prediction')
plt.xticks(rotation=60)
plt.legend()
plt.xlabel('Date')
plt.ylabel('Maximum Temperature (F)')
plt.title('Actual and Predicted Values')
绘制结果:
看起来还可以,这个走势我们的模型已经基本能够掌控了,接下来我们要再深入到数据中了,考虑几个问题:
1、如果可以利用的数据量增大,会对结果产生什么影响呢?
2、加入新的特征会改进模型效果吗?此时的时间效率又会怎样?
我们下节见 (* ̄︶ ̄)
附:随机森林中树的可视化展示
上述我们训练随机森林模型时,构造了 1000 棵树,下面,小鱼来展示其中的一颗决策树。
from sklearn.tree import export_graphviz
from IPython.display import Image
import pydotplus
# 拿到其中一棵树
tree = rfr.estimators_[0]
# 导出成dot文件
export_graphviz(tree, out_file="tree.dot", feature_names=X.columns, rounded=True, precision=1)
# 绘图
graph = pydotplus.graph_from_dot_file("tree.dot")
# 在notebook中展示
Image(graph.create_png())
由于树还是比较庞大的,在 Jupyter NoteBook 中无法清晰地呈现:
可以保存成 PNG 文件在电脑的图像软件中查看:
graph.write_png("tree.png")
下面我们为了更好地在 Notebook 中展示,小鱼只选择 3 个特征构建随机森林,将树的深度限制在 3:
>> rfr_small = RandomForestRegressor(n_estimators=1000, max_depth=3, random_state=0)
>> rfr_small.fit(X_train, y_train)
RandomForestRegressor(max_depth=3, n_estimators=1000, random_state=0)
选取随机森林中的一棵树进行展示:
# 提取一棵树
tree_small = rfr_small.estimators_[0]
# 保存
graph = export_graphviz(
tree_small, label="root", proportion=True, out_file=None,
feature_names=X.columns, filled=True, rounded=True)
graph = pydotplus.graph_from_dot_data(graph)
# 展示
Image(graph.create_png())
绘制结果: