在介绍决策树、随机森林算法时，小鱼使用的一直都是分类任务。从本篇文章开始，小鱼会在连载中更新基于随机森林的气温预测任务，根据历史数据来预测某一天的气温。
注：气温为连续值，接下来关于气温预测的任务也是回归任务。
读取数据
读取本次任务的数据集：
import pandas as pd
import os
df = pd.read_csv("data" + os.sep + "temps.csv")
df.head()
数据集中的前 5 条数据如下：
数据特征介绍：
-
yearmothdayweek表示日期 -
temp_2前天的温度 -
temp_1昨天的温度 -
average在历史当中，每年这一天的平均温度 -
actual当天的真实温度，也是我们本次任务预测的标签 -
friend凑热闹的一列，相当于噪声
当前数据集一共 348 个样本，9 列中包含了 8 个特征和 1 个标签值。
>> df.shape
(348, 9)
观察数值型指标的统计特性：
df.describe()
其中年份的标准差为 0 ，这是因为所有样本都是 2016 年的数据。此外，对于时间特征，在预处理时，我们往往需要组合或者拆分。
拆分是为了提取特征，而组合则是为了绘图分析所服务的。在绘图或者计算的过程中，需要标准的时间格式：
from datetime import datetime
dates = [datetime(year,month,day) for year,month,day in zip(df.year, df.month, df.day)]
得到的 datetime 日期如下：
>> dates[:5]
[datetime.datetime(2016, 1, 1, 0, 0),
datetime.datetime(2016, 1, 2, 0, 0),
datetime.datetime(2016, 1, 3, 0, 0),
datetime.datetime(2016, 1, 4, 0, 0),
datetime.datetime(2016, 1, 5, 0, 0)]
观察特征
导入画图工具，并设置绘图风格：
import matplotlib.pyplot as plt
# plt.style.available
# 指定默认风格
plt.style.use("seaborn-whitegrid")
%matplotlib inline
绘图观察真实气温、前一天气温以及 2 天前气温、噪音列和日期的关系。
# 设置布局
fig, ((ax1, ax2), (ax3, ax4)) = plt.subplots(nrows=2, ncols=2, figsize=(10,6), dpi=80)
fig.autofmt_xdate(rotation = 45)
# 标签值
ax1.plot(dates, df.actual, linewidth=1, color='red')
ax1.set_xlabel('')
ax1.set_ylabel('Temperature')
ax1.set_title('Temp')
# 昨天
ax2.plot(dates, df.temp_1, linewidth=1, color='red')
ax2.set_xlabel('')
ax2.set_ylabel('Temperature')
ax2.set_title('Previous Temp')
# 前天
ax3.plot(dates, df.temp_2,linewidth=1, color='red')
ax3.set_xlabel('Date')
ax3.set_ylabel('Temperature')
ax3.set_title('Two Days Prior Temp')
# 噪声
ax4.plot(dates, df.friend, linewidth=1, color='red')
ax4.set_xlabel('Date')
ax4.set_ylabel('Temperature')
ax4.set_title('Friend Estimate')
绘制结果：
温度相关的特征无异常情况，分布基本上是一致的。friend 列虽然也是气温，但其分布与 actual temp_1 和 temp_2 明显不同， friend 列可以作为噪声剔除。
数据预处理
原始数据中在 week 列中并不是一些数值特征，而是表示周几的字符串，这些计算机可不认识，需要我们来转换一下 。
>> df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 348 entries, 0 to 347
Data columns (total 9 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 year 348 non-null int64
1 month 348 non-null int64
2 day 348 non-null int64
3 week 348 non-null object
4 temp_2 348 non-null int64
5 temp_1 348 non-null int64
6 average 348 non-null float64
7 actual 348 non-null int64
8 friend 348 non-null int64
dtypes: float64(1), int64(7), object(1)
memory usage: 24.6+ KB
该列中的值为 object 类型，存放的都是星期几这样的属性值：
| week |
|---|
| Mon |
| Tue |
| Wed |
| Thu |
| Fri |
需要使用独热编码进行转换：
| Mon | Tue | Wed | Thu | Fri |
|---|---|---|---|---|
| 1 | 0 | 0 | 0 | 0 |
| 0 | 1 | 0 | 0 | 0 |
| 0 | 0 | 1 | 0 | 0 |
| 0 | 0 | 0 | 1 | 0 |
| 0 | 0 | 0 | 0 | 1 |
使用独热编码处理之后， week 列将被拆分成由不同属性值构成的所列。对于某个特定的样本，只有样本属性对应的属性列为 1，其余列全部为 0 ，所以又称为独热编码。
>> df= pd.get_dummies(df)
>> df.head()
度热编码之后的数据集：
划分训练集与测试集：
from sklearn.model_selection import train_test_split
y = df.actual
X = df.drop("actual", axis=1)
feature_list = list(df.columns)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
训练集与测试集样本个数：
>> print('训练集特征:', X_train.shape)
训练集特征: (261, 14)
>> print('训练集标签:', y_train.shape)
训练集标签: (261,)
>> print('测试集特征:', X_test.shape)
测试集特征: (87, 14)
>> print('测试集标签:', y_test.shape)
测试集标签: (87,)
随机森林建模
下面，我们先不进行调参，先从建模、训练、预测、评估、可视化整体来一遍，了解一下流程。
from sklearn.ensemble import RandomForestRegressor
rfr = RandomForestRegressor(n_estimators=1000, random_state=0)
rfr.fit(X_train, y_train)
在测试集进行预测，并使用 MAPE 绝对百分比误差来评估此回归任务的结果。
# 预测结果
>> predictions = rfr.predict(X_test)
# 计算误差
>> errors = abs(predictions - y_test)
# MAPE(Mean Absolute Percentage Error)
>> mape = errors / y_test
>> print(f'MAPE:{mape.mean():.2%}')
MAPE:6.08%
绝对百分比误差 MAPE 可以表示当前模型的绝对误差有多少，MAPE 越小则损失越小，模型越优秀。
随机森林有一个非常大的好处，经过随机森林建模之后，通过模型可以得到特征的重要性排名。
feature_df = pd.DataFrame({
'features': rfr.feature_names_in_,
'importances': rfr.feature_importances_
})
feature_df.sort_values(by='importances',ascending=False)
从输出结果来看，前 3 个最重要的特征分别是 temp_1 average temp_2 。
通过柱形图，直观地展示特征的重要性。
feature_df.plot(kind='bar')
# X轴名字
plt.xticks(feature_df.index, feature_df.features, rotation="vertical")
# 图名
plt.xlabel('Features')
plt.title('Features Importances')
昨天的温度 temp_1 和历史中这一天的平均温度 average 是两个重要层度非常突出的指标。
有的时候，我们为了提高效率，也会选择最重要的几个特征来进行建模。下面，小鱼极端地使用两个特征进行建模，来看看绝对百分比误差 MAPE 的变化。
# 选择最重要的那2个特征来试试
rfr_most_important = RandomForestRegressor(n_estimators=1000, random_state=0)
important_feature = ['temp_1', 'average']
# 重新训练模型
rfr_most_important.fit(X_train.loc[:,important_feature], y_train)
# 预测结果
predictions = rfr_most_important.predict(X_test.loc[:, important_feature])
# 评估结果
errors = abs(predictions - y_test)
mape = errors / y_test
print(f'mape:{mape.mean():.2%}')
为了公平起见，建模时使用了相同的随机数种子。使用最重要的两个特征建模，得到的绝对百分比误差为：
MAPE:6.38%
使用少数重要特征建模虽然比使用全部特征建模的损失增大了，但增加的损失并不多，但可以换来时间成本。
最后，我们还可以通过绘图的方式，来直观地看到目前真实值同预测值之间的差异情况。
定义两个 DataFrame 分别存储日期和真实值、日期和预测值：
test_dates = [datetime(year,month,day) for year,month,day in zip(X_test.year, X_test.month, X_test.day)]
predictions_data = pd.DataFrame({'date':test_dates, 'prediction':predictions})
true_data = pd.DataFrame({'date':dates, 'actual':y})
绘图：
plt.plot(true_data['date'], true_data['actual'], color='blue', linestyle='-', linewidth=1.5, label='actual')
plt.plot(predictions_data['date'], predictions_data['prediction'], 'ro', label='prediction')
plt.xticks(rotation=60)
plt.legend()
plt.xlabel('Date')
plt.ylabel('Maximum Temperature (F)')
plt.title('Actual and Predicted Values')
绘制结果：
看起来还可以，这个走势我们的模型已经基本能够掌控了，接下来我们要再深入到数据中了，考虑几个问题：
1、如果可以利用的数据量增大，会对结果产生什么影响呢？
2、加入新的特征会改进模型效果吗？此时的时间效率又会怎样？
我们下节见 (*￣︶￣)
附：随机森林中树的可视化展示
上述我们训练随机森林模型时，构造了 1000 棵树，下面，小鱼来展示其中的一颗决策树。
from sklearn.tree import export_graphviz
from IPython.display import Image
import pydotplus
# 拿到其中一棵树
tree = rfr.estimators_[0]
# 导出成dot文件
export_graphviz(tree, out_file="tree.dot", feature_names=X.columns, rounded=True, precision=1)
# 绘图
graph = pydotplus.graph_from_dot_file("tree.dot")
# 在notebook中展示
Image(graph.create_png())
由于树还是比较庞大的，在 Jupyter NoteBook 中无法清晰地呈现：
可以保存成 PNG 文件在电脑的图像软件中查看：
graph.write_png("tree.png")
下面我们为了更好地在 Notebook 中展示，小鱼只选择 3 个特征构建随机森林，将树的深度限制在 3：
>> rfr_small = RandomForestRegressor(n_estimators=1000, max_depth=3, random_state=0)
>> rfr_small.fit(X_train, y_train)
RandomForestRegressor(max_depth=3, n_estimators=1000, random_state=0)
选取随机森林中的一棵树进行展示：
# 提取一棵树
tree_small = rfr_small.estimators_[0]
# 保存
graph = export_graphviz(
tree_small, label="root", proportion=True, out_file=None,
feature_names=X.columns, filled=True, rounded=True)
graph = pydotplus.graph_from_dot_data(graph)
# 展示
Image(graph.create_png())
绘制结果：
