决策树是机器学习中用于预测建模的一种重要的算法类型。
决策树模型的表现形式是二叉树。实际上,它就是算法和数据结构中的二叉树,没什么太花哨的。 每个节点代表一个输入变量(x)和该变量上的分支(这里假设是数字类型的变量)。
树的叶节点包含用于进行预测的输出变量(y)。 通过不断遍历树的各个分支,最终到达某个叶节点,并在该叶节点处输出你要预测的类别值。
决策树的学习过程很短,预测速度非常快。 对于一般类型的问题,他们的准确性不错。你也不需要对数据作特别的准备。
决策树具有高方差,但如果与集成学习搭配使用,可以提高预测的准确度。我们将在第13课和第14课中讨论这个主题。