模型融合的目的：将多种”弱学习器“融合成一个”强学习器“。

模型融合

1. 简单加权融合

① 平均法-Averaging

1. 对于回归问题，一个简单直接的思路是取平均。将多个模型的回归结果取平均值作为最终预测结果，进而把多个弱分类器荣和城强分类器。

2. 稍稍改进的方法是进行加权平均，权值可以用排序的方法确定，举个例子，比如A、B、C三种基本模型，模型效果进行排名，假设排名分别是1，2，3，那么给这三个模型赋予的权值分别是3/6、2/6、1/6。

3. 平均法或加权平均法看似简单，其实后面的高级算法也可以说是基于此而产生的，Bagging或者Boosting都是一种把许多弱分类器这样融合成强分类器的思想。

4. Averaging也可以用于对分类问题的概率进行平均。

② 投票法-voting

1. 对于一个二分类问题，有3个基础模型，现在我们可以在这些基学习器的基础上得到一个投票的分类器，把票数最多的类作为我们要预测的类别。

2. 投票法有硬投票（hard voting）和软投票（soft voting）

3. 硬投票: 对多个模型直接进行投票，不区分模型结果的相对重要度，最终投票数最多的类为最终被预测的类。

4. 软投票：增加了设置权重的功能，可以为不同模型设置不同权重，进而区别模型不同的重要度。

2. stacking/blending

① 堆叠法-stacking

基本思想：用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集(第一层)，来学习一个新的学习器(第二层)。

背景: 为了帮助大家理解模型的原理，我们先假定一下数据背景。

1. 训练集数据大小为10000*100，测试集大小为3000*100。即训练集有10000条数据、100个特征；测试集有3000条数据、100个特征。该数据对应回归问题。

2. 第一层使用三种算法-XGB、LGB、NN。第二层使用GBDT。

算法解读

1. stacking 第一层

   1. XGB算法 - 对应图中model 1部分

      • 输入：使用训练集进行5-fold处理

      • 处理：具体处理细节如下

        • 使用1、2、3、4折作为训练集，训练一个XGB模型并预测第5折和测试集，将预测结果分别称为XGB-pred-tran5(shape 2000*1)和XGB-pred-test1(shape 3000*1).

        • 使用1、2、3、5折作为训练集，训练一个XGB模型并预测第4折和测试集，将预测结果分别称为XGB-pred-tran4(shape 2000*1)和XGB-pred-test2(shape 3000*1).

        • 使用1、2、4、5折作为训练集，训练一个XGB模型并预测第3折和测试集，将预测结果分别称为XGB-pred-tran3(shape 2000*1)和XGB-pred-test3(shape 3000*1).

        • 使用1、3、4、5折作为训练集，训练一个XGB模型并预测第2折和测试集，将预测结果分别称为XGB-pred-tran2(shape 2000*1)和XGB-pred-test4(shape 3000*1).

        • 使用2、3、4、5折作为训练集，训练一个XGB模型并预测第1折和测试集，将预测结果分别称为XGB-pred-tran1(shape 2000*1)和XGB-pred-test5(shape 3000*1).

      • 输出：

        • 将XGB分别对1、2、3、4、5折进行预测的结果合并，得到XGB-pred-tran(shape 10000*1)。并且根据5-fold的原理可以知道，与原数据可以形成对应关系。因此在图中称为NEW FEATURE。

        • 将XGB-pred-test1 - 5 的结果使用Averaging的方法求平均值，最终得到XGB-pred-test(shape 3000*1)。

   2. LGB算法 - 同样对应图中model 1部分

      • 输入：与XGB算法一致

      • 处理：与XGB算法一致。只需更改预测结果的命名即可，如LGB-pred-tran5和LGB-pred-test1

      • 输出：

        • 将LGB分别对1、2、3、4、5折进行预测的结果合并，得到LGB-pred-tran(shape 10000*1)。

        • 将LGB-pred-test1 - 5 的结果使用Averaging的方法求平均值，最终得到LGB-pred-test(shape 3000*1)。

   3. NN算法 - 同样对应图中model 1部分

      • 输入：与XGB算法一致

      • 处理：与XGB算法一致。只需更改预测结果的命名即可，如NN-pred-tran5和NN-pred-test1

      • 输出：

        • 将NN分别对1、2、3、4、5折进行预测的结果合并，得到NN-pred-tran(shape 10000*1)。

        • 将NN-pred-test1 - 5 的结果使用Averaging的方法求平均值，最终得到NN-pred-test(shape 3000*1)。

2. stacking 第二层

   • 训练集：将三个新特征 XGB-pred-tran、LGB-pred-tran、NN-pred-tran合并得到新的训练集(shape 10000*3)

   • 测试集：将三个新测试集XGB-pred-test、LGB-pred-test、NN-pred-test合并得到新的测试集(shape 30000*3)

   • 用新训练集和测试集构造第二层的预测器，即GBDT模型

   在这里插入图片描述

② 混合法 - blending

Blending与Stacking大致相同，只是Blending的主要区别在于训练集不是通过K-Fold的CV策略来获得预测值从而生成第二阶段模型的特征，而是建立一个Holdout集。简单来说，Blending直接用不相交的数据集用于不同层的训练。

同样以上述数据集为例，构造一个两层的Blending模型。

首先将训练集划分为两部分(d1，d2)，例如d1为4000条数据用于blending的第一层，d2是6000条数据用于blending的第二层。

第一层：用d1训练多个模型，将其对d2和test的预测结果作为第二层的New Features。例如同样适用上述三个模型，对d2生成6000*3的新特征数据；对test生成3000*3的新特征矩阵。

第二层：用d2的New Features和标签训练新的分类器，然后把test的New Features输入作为最终的测试集，对test预测出的结果就是最终的模型融合的值。