如果有兴趣，请大家关注本人公众号AI Engine（I是大写的i）
之前本人对决策树以及其实现分类的简单原理和实例。其实对于二分类问题就可以理解成简单的二叉树，根据每个特征对所有的数据进行逐层的分类。但是决策树的主要缺点在于，即使做了预剪枝（此前介绍过），它也经常会过拟合，泛化性能很差。因此，在大多数应用中，往往使用决策树集成的方法来替代单棵决策树。
这样我们便引出了今天的主题，决策树的集成：随机森林（RF）与xgboost（下次介绍）。随机森林的组成元素为n棵决策树，每棵树的判断原理与单棵决策树决策并无较大差别，但是每棵树之间并不是完全相同。随机森林背后的思想是：每棵树的预测可能都相对较好，但可能对部分数据过拟合。如果构造很多树，并且每棵树的预测都很好，但都以不同的方式过拟合，那么我们可以对这些树的结果取平均值来降低过拟合。既能减少过拟合又能保持树的预测能力，这可以在数学上严格证明。 下面介绍随机森林的简单使用。
首先我们要构造一个随机森林。随机森林中的树均不完全相同，这是因为我们构造每一棵树的时候选取的数据集与特征集均不相同。在数据的选取方面，我们要对数据进行自助采样。也就是说，从n_samples个数据点中有放回地(即同一样本可以被多次抽取)重复随机抽取一个样本共抽取n_samples次这样会创建一个与原数据集大小相同的数据集，但有些数据点会缺失(大约三分之一)，有些会重复。举例说明，比如我们想要创建列表[‘1', ‘2', ‘3', ‘4']的自助采样。一种可能的自主采是[‘2', ‘3', ‘1', ‘1']，另一种可能的采样为[‘4', ‘1', ‘2', ‘1’]等等。接下来，基于每个新创建的数据集来构造决策树。但是，对于构造单棵决策树的算法原理并不完全相同。在每个结点处，算法随机选择特征的一个子集，并对其中一个特征寻找最佳测试，而不是对每个结点都寻找最佳测试。选择的特征个数由max_features参数来控制。而且每个结点中特征子集的选择相互独立，这样树的每个结点可以使用特征的不同子集来做出决策。由于使用了自助采样，随机森林中构造每棵决策树的数据集都是略有不同的。由于每个结点的特征选择，每棵树中的每次划分都是基于特征的不同子集。这两种方法共同保证随机森林中所有树都不相同。试想一下，如果我们将max_features参数值调整的较大，这意味着我们的每个树将会非常类似，容易造成过拟合。但是max_features参数值如果过小，那么随机森林中的树将会差异很大，为了很好地拟合数据，每棵树的深度就要很大。
干货：将由10棵树组成的随机森林应用到make_moons数据集上
fromsklearn.datasetsimportmake_moons
fromsklearn.ensembleimportRandomForestClassifier
fromsklearn.model_selectionimporttrain_test_split
importmatplotlib.pyplotasplt
importmglearn
x,y = make_moons(n_samples=100,noise=0.2,random_state=10)
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2,random_state=10)
clf = RandomForestClassifier(n_estimators=10,criterion='gini',max_features='auto',max_depth=5,oob_score=True,n_jobs=-1,random_state=10)
clf.fit(x_train,y_train)
fig,axes = plt.subplots(2,3,figsize=(10,8))
fori,(ax,tree)inenumerate(zip(axes.ravel(),clf.estimators_)):
ax.set_title("Tree {}".format(i))
mglearn.plots.plot_tree_partition(x_train,y_train,tree,ax=ax)
mglearn.plots.plot_2d_separator(clf,x_train,fill=True,ax=axes[-1,-1],alpha=.4)
axes[-1,-1].set_title("Random Forest")
mglearn.discrete_scatter(x_train[:,0],x_train[:,1],y_train)
plt.show()
作为随机森林的一部分，决策树们都被保存在estimator_属性中。我们将每棵树学到的决策边界可视化，也将它们的总预测(即整个森林做出的预测)可视化：
通过观察前9长图片我们可以发现每颗树的学习到的决策边界差距很大，这是因为每棵树在训练时所使用的数据集与特征子集均不相同。随机森林比单独每一棵树的过拟合都要小，准确率较高，给出的决策边界也更符合直觉。在任何实际应用中，我们会用到更多棵树，从而得到更平滑的边界。
