机器学习中问到这个问题可以这样回答
以融合和提升中bagging和boosting算法为例
bagging的典型代表就是随机森林,
随机森林通过特征随机选取和样本随机选取来构造每一棵树,然后从构造的所有树的输出结果中取众数,
随机森林的泛化能力是很强的,我们认为这种模型是为了降低方差,控制结构风险。
gbdt或者xgboost的话,就是通过不断的构造新的树,使得预测值与期望值之间的差距越来越小,
我们认为这种模型是不断降低方差。
一个好的模型就应该是偏差和偏差都尽可能低,达到一种均衡的状态。
lossfunction = 目标优化函数 + 正则项
降低偏差 降低方差
偏差越小经验风险越小;
方差越小结构风险越小。