一、剪枝 1. 为什么要剪枝 在决策树生成的时候,更多考虑的是训练数据,而不是未知数据,这会导致过拟合,使树过于复杂,对于未知的样本不准确。 2. 剪枝的依据——通过极小化决...
一、剪枝 1. 为什么要剪枝 在决策树生成的时候,更多考虑的是训练数据,而不是未知数据,这会导致过拟合,使树过于复杂,对于未知的样本不准确。 2. 剪枝的依据——通过极小化决...
决策树是一种基本的分类与回归方法。这里主要讨论决策树用于分类。 决策树模型是描述对样本进行分类的树形结构。树由结点和有向边组成: 内部结点表示一个特征或者属性。 叶子结点表示...
一、信息熵 熵 (entropy) 这一词最初来源于热力学。1948年,克劳德·爱尔伍德·香农将热力学中的熵引入信息论,所以也被称为香农熵 (Shannon entropy)...
一、Logistic regression中sigmod函数推导 sigmod函数的推导 1.伯努利分布 一个事件x,其结果只有两种:x=1 or 0,比如抛硬币。when ...
一、贝叶斯公式推导 1.条件概率 设是任意两个事件,已知发生的条件下,发生的条件概率为: 2.全概率公式 设为有限或无限个事件,他们两两互斥,即: 被称为一个完备事件群。对于...
一、详细理解误差(error)与偏差(bias)和方差(variance) 1.偏差与方差 2.error与bias和variance的关系 总体上说,误差等于偏差加上方差,...
一、什么是机器学习? 机器学习包括:1.监督学习(supervised learning) ①回归:寻找一个假设函数,根据大量的训练集X来预测目标变量Y,若要预测的目标变量是...
SampleApp_ProcessEvent 事件处理函数 例如: void SampleApp_SendPeriodicMessage( void )(周期性发送函数) S...