随机森林是一种集成学习方法（ensemble），由许多棵决策树构成的森林共同来进行预测。为什么叫“随机”森林呢？随机主要体现在以下两个方面：
1.每棵树的训练集是随机且有放回抽样产生的；
2.训练样本的特征是随机选取的。
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=4, n_informative=2, n_redundant=0,random_state=0, shuffle=False)
clf = RandomForestClassifier(n_estimators=100, max_depth=2, random_state=0)
clf.fit(X, y)
#生成的随机森林具体的参数
#RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini', max_depth=2, max_features='auto', max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, min_samples_leaf=1, in_samples_split=2,min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,oob_score=False, random_state=0, verbose=0, warm_start=False)
print(clf.feature_importances_)
out:[0.14205973 0.76664038 0.0282433 0.06305659]
print(clf.predict([[0, 0, 0, 0]]))
out:[1]
随机森林函数的参数以及方法
class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features='auto', max_leaf_nodes=None, min_impurity_split=1e-07, bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0, warm_start=False, class_weight=None)
参数
- n_estimators : integer, optional (default=10)
随机森林中树的数量； - criterion : string, optional (default=”gini”)
树分裂的规则：gini系数，entropy熵； - max_features : int, float, string or None, optional (default=”auto”)
查找最佳分裂所需考虑的特征数，
int：分裂的最大特征数，
float：分裂的特征占比，
auto、sqrt：sqrt(n_features)，
log2：log2(n_features)，
None：n_features， - max_depth : integer or None, optional (default=None)
树的最大深度； - min_samples_split：int, float, optional (default=2)
最小分裂样本数； - min_samples_leaf : int, float, optional (default=1)
最小叶子节点样本数； - min_weight_fraction_leaf : float, optional (default=0.)
最小叶子节点权重； - max_leaf_nodes : int or None, optional (default=None)
最大叶子节点数； - min_impurity_split : float, optional (default=1e-7)
分裂的最小不纯度； - bootstrap : boolean, optional (default=True)
是否使用bootstrap； - oob_score : bool (default=False)
是否使用袋外（out-of-bag）样本估计准确度； - n_jobs : integer, optional (default=1)
并行job数，-1 代表全部； - random_state : int, RandomState instance or None, optional (default=None)
随机数种子； - verbose : int, optional (default=0)
Controls the verbosity of the tree building process.（控制树冗余？） - warm_start : bool, optional (default=False)
如果设置为True，在之前的模型基础上预测并添加模型，否则，建立一个全新的森林； - class_weight : dict, list of dicts, “balanced”,
“balanced” 模式自动调整权重，每类的权重为 n_samples / (n_classes * np.bincount(y))，即类别数的倒数除以每类样本数的占比。
属性
- estimators_ : list of DecisionTreeClassifier
森林中的树； - classes_ : array of shape = [n_classes] or a list of such arrays
类标签； - n_classes_ : int or list
类； - n_features_ : int
特征数； - n_outputs_ : int
输出数； - feature_importances_ : array of shape = [n_features]
特征重要性； - oob_score_ : float
使用袋外样本估计的准确率； - oob_decision_function_ : array of shape = [n_samples, n_classes]
决策函数
