标签：代码实战，经过验证，sklearn.tree可视化，机器学习，决策树，cart，开箱即用
利用sklearn.treeimport DecisionTreeClassifier创建数据的决策树，并可视化结果
[TOC]

前提

python包：pydotplus、numpy、sklearn。可通过pip install安装。
Graphviz，安装参见“可视化树”一节

TODO：实例化

from sklearn.treeimport DecisionTreeClassifier
dt = DecisionTreeClassifier(criterion='gini',# 分类用基尼，回归用'entropy'
                            splitter='best',# 结点分裂方式，'best' 与'random'
                            min_samples_leaf=20,# 叶子节点包含的最少样本数
                            random_state=2020,# 随机策略
                            class_weight='balanced',# balanced根据样本数量自动调整权重
                            presort=True,# 数据集小用True，否则用false，可以提高速度
                            )

参数可以参考：https://www.jianshu.com/p/f0f41ad72e5f
其他cart相关http://d0evi1.com/sklearn/cart/

TODO: 训练数据准备与训练/生成决策树

训练数据要求
--feature是numpy.array，数据类型为numpy.float64，第i行是第i条数据，第j列是对应数据的第j个特征
--label是numpy.array，数据类型为numpy.int16，只有一列，第i行是第i条数据。若想使用float的label，参见本节尾部的”真实输出y是float应该怎么改“

    # # 加载文件示例
    # # loadDataSet和相应数据参见https://github.com/Jack-Cherish/Machine-Learning
    # train_filename = 'cart_train.txt'
    # train_Data = loadDataSet(train_filename)  # 前几列是参数，最后一列是目标
    # train_Mat = np.mat(train_Data)
    # feature = train_Mat[:, list(range(train_Mat.shape[1] - 1))]
    # label = train_Mat[:, -1].astype(np.int16)  # float转int
    # 使用随机数做演示
    feature = np.random.rand(100, 4) # 100行 4列，0-1的随机浮点数
    label = np.random.randint(0, 3, size=(100, 1))# [0,3)的随机整数，100行 1列

    # TODO：训练
    dt = dt.fit(feature, label)

真实输出y是float应该怎么改
当前代码中真实输出要求int类型，即训练时的y必须是int类型，因为实例化时criterion用的是'gini'，如果是float，修改两处代码，一处是示例化时的criterion，一处是训练数据中不调用astype(np.int16)
异常： ValueError: Unknown label type: 'continuous'
大概率是因为使用了基尼系数但y却是float类型的，如果数据的y本就是float，则调整实例化的criterion为'entropy'；如果y本是int，注意要转换为int

TODO：可视化树

【前提】安装Graphviz
- 安装
  -- 安装参考 https://www.cnblogs.com/shuodehaoa/p/8667045.html
  -- dot语法、安装参考、中文配置 https://blog.csdn.net/codingstandards/article/details/83778386
  -- 官网下载地址 https://graphviz.org/download/
  -- 我的下载：win10, 64位，stable
- dot -c :可能需要命令行执行一下"Graphviz安装目录/bin/dot.exe -c"
可视化方法参考自博客，但做不到开箱即用

from sklearn.treeimport export_graphviz
from sklearn.externals.siximport StringIO
import pydotplus
import os
# 配置Graphviz的dot的地址。可能配置好环境变量之后重启os，就不需要这部分了。
path_graphviz ="D:/software/graphviz/Graphviz2.44.1/bin"  # replace by your Graphviz bin path
os.environ["PATH"] += os.pathsep + path_graphviz
# 转换格式，从而保存本地
dot_data = StringIO()
dot_data = export_graphviz(dt,out_file=None)
graph = pydotplus.graph_from_dot_data(dot_data)
# graph = pydotplus.graph_from_dot_data(dot_data.getvalue())# 见到这个写法，但是我本地尝试是失败的
# graph.write_pdf("tmp/tree.pdf")
graph.write_jpg("tmp/tree.jpg")
print('Visible tree plot saved.')

之后可以查看"tmp/tree.jpg"

tree.jpg

【exception】pydotplus.graphviz.InvocationException: GraphViz's executables not found

确定graphviz已安装。
注意不是pip安装的python包，而是官网下载资源后按官网说明来安装的程序
检查代码中是否path_graphviz配置有误。
注意"D:/software/graphviz"是安装时选择的安装路径，"D:/software/graphviz/Graphviz2.44.1"是graphviz的安装目录，它有"bin","include","lib","share"四个文件夹， "D:/software/graphviz/Graphviz2.44.1/bin"才是我们要配的路径地址。
参考：https://blog.csdn.net/weixin_36407399/article/details/87890230

【exception】Format: "jpg" not recognized. Use one of:

Use one of:后面是空的，说明需要cmd执行一下dot -c。
“dot -c“ means: Configure plugins (Writes $prefix/lib/graphviz/config with available plugin information. Needs write privilege.)
如果是linux系统，可能需要root权限sudo dot -c
如果没有配环境变量，就是D:\software\graphviz\Graphviz2.44.1\bin\dot.exe -c
参考：https://blog.csdn.net/qq_43166422/article/details/105540575

TODO:预测

    pre=dt.predict(feature)
    #TODO：评估
    print(estimate(label.T.tolist()[0],pre.T.tolist())) # 参数必须是一维数组

评估结果(由于训练数据是随机生成的，所以这里只是格式参考）

混淆矩阵:
  true\pre         0         1         2
         0        14         3        19        36
         1         4        14        14        32
         2         5         4        23        32
                  23        21        56
report:
              precision    recall  f1-score   support

           0       0.61      0.39      0.47        36
           1       0.67      0.44      0.53        32
           2       0.41      0.72      0.52        32

   micro avg       0.51      0.51      0.51       100
   macro avg       0.56      0.52      0.51       100
weighted avg       0.56      0.51      0.51       100

评估函数

import numpy
from sklearn.metrics import classification_report

def estimate(true_label:[], predict_label:[],confu_row_prefix='\t',confu_coltitle_sep='\t'):
    '''输入true_label和predict_label 输出评估结果'''
    # TODO: 函数进入条件
    assert type(true_label)==type([]) 
    assert type(predict_label)==type([])
    assert len(true_label) == len(predict_label)
    # TODO:初始化混淆矩阵
    class_k=set(true_label)
    class_k=list(class_k)
    class_num = len(class_k)
    assert class_num>=1
    confu = numpy.zeros([class_num, class_num])  # confu[实际][预测]
    k_v={class_k[i]:i for i in range(class_num)}

    # TODO:遍历每一行统计准确率
    for ix in range(0, len(true_label)):  # 遍历训练集的每行
        confu[k_v[true_label[ix]]][k_v[predict_label[ix]]] += 1  # confu[实际][预测]
    # TODO:混淆矩阵打印字符串
    string='混淆矩阵:\n%10s'%'true\pre'
    sum_col=numpy.sum(confu,axis=0)#按列相加
    sum_row=numpy.sum(confu,axis=1)#按行相加
    # title
    for i in range(class_num):
        string+='%10s'%(class_k[i])
    string+='\n'
    # data
    for i in range(class_num):
        string+='%10s'%(class_k[i])
        for j in range(class_num):
            string+='%10s'%(int(confu[i][j]))
        string+='%10s'%(int(sum_row[i]))# support
        string+='\n'
    # support
    string+='%10s'%''
    for i in range(class_num):
        string+='%10s'%(int(sum_col[i]))
    string+='\n'

    # TODO:准确率、召回率等评估结果
    cr = classification_report(true_label,
                               predict_label)

    string+='report:\n'
    string+=str(cr)
    return string

决策树的一些认知

一些方法：
- ID3：
  - 增熵。
  - 会越分越细，容易过拟合，所以有C4.5
- C4.5
  - 信息增益率（增熵要除以属性熵）
  - 需要对数据集进行多次扫描，算法效率相对较低
- CART：
  - GINI指数。
  - 同样容易过拟合。需剪枝，对特别长的树直接剪掉。

一些要点：

节点的分裂：一般当一个节点所代表的属性无法给出判断时，则选择将这一节点分成2个子节点（如不是二叉树的情况会分成n个子节点）
阈值的确定：选择适当的阈值使得分类错误率最小（Training Error）。
剪枝：预剪枝、后剪枝

熵的计算：

熵的计算

基尼系数的计算：

基尼系数的计算

【开箱即用】利用sklearn创建决策树（cart），可视化训练结果（树）