集成学习是一种技术框架，其按照不同的思路来组合基础模型，从而达到其利断金的目的。
集成学习的基本结构为：先产生一组个体学习器，再使用某种策略将它们结合在一起。集成模型如下图所示：
集成模型.png
集成模型中，若个体学习器都属于同一类别，例如都是决策树或都是神经网络，则称该集成为同质的（homogeneous）;若个体学习器包含多种类型的学习算法，例如既有决策树又有神经网络，则称该集成为异质的（heterogenous）。
- 同质集成：个体学习器称为“基学习器”（base learner），对应的学习算法为“基学习算法”（base learning algorithm）。
- 异质集成：个体学习器称为“组件学习器”（component learner）或直称为“个体学习器”。
目前三种常见的集成学习框架为：bagging，boosting，stacking。
bagging：从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。
bagging.png
-
典型代表：RandomForest
boosting：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。
boosting.png 最终的结果：每个分类器根据自身的准确性来确定各自的权重，再合体
stacking：将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测。
stacking方法详解
stacking.png
代码实践：
- AdaBoost
- xgboost
- RandomForest
- Stacking
