核心：如何找到高效的决策顺序
原理：信息熵，信息增益，，就是根据信息增益来自动判断哪个特征的优先顺序，以达到可以快速做出决策的特征顺序
信息熵定义：
图片.png
b一般为2
决策树的划分依据之一--信息增益：即不确定性减少程度最多的就是优先考虑的特征，g(D,A)最大的准则
定义和公式：
定义：特征A 对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D 的信息条件熵H(D/A)之差
图片.png
就是结果熵和条件熵之差
图片.png
决策树API
class sklearn.tree.decisiontreeclassifier(criterion='gini',max_depth=none,random_state=none)
#决策树分类器
#criterion:默认是‘gini'系数，也可以选择信息增益的熵’entropy'
#max_depth:树的深度大小 ....... 可以调节拟合程度
#random_state:随机树种子
例子：用鸢尾花数据集查看决策树算法对分类的准确率
#导入包
from sklearn.tree import decisiontreeclassifier,export graphviz
from sklearn.tree import decisiontreeclassifier
#定义
def decision_iris():
"""用决策树对鸢尾花分类
：return:
"""
# 1)获取数据集
iris=load_iris()
# 2)划分数据集
x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,random_state=22)
# 3)决策树预估器
estimator=decisiontreeclassifier(criterion="entropy") #系数设置为信息增益
estimator.fit(x_train,y_train) #放入数据 运行完毕出模型
# 4)模型评估
#方法1：直接比对真实值和预测值
y_predict=estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值：\n",y_test==y_predict)
#方法2：计算准确率
score=estimator.score(x_test,y_test)
print("准确率为：\n",score)
#可视化决策树
export_graphviz(estimator,out_file="iris_tree.dot",feature_names=iris.feature_names) #传入特征名字会使得树更容易懂
return None
# 调用运行函数
if __name__="__main__":
decision_iris()
决策树可视化
过程：1、保存树的结构到dot文件中，形成文本文件，2、网站显示结构 http://webgraphviz.com/
打开网站，将文本文件复制进去，点击生成图片即可形成树图
第一步的操作代码如下：
sklearn.tree.export_graphviz() 该函数能够导出dot 格式
tree.export_graphviz(estimator,out_file='tree.dot',feature_names=[","])
决策树总结：
优点：简单的理解和解释，树木可视化，更直观易懂，可解释能力强
缺点：决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合 容易过拟合
改进：1、减枝Cart算法 2、随机森林
企业重要决策，由于决策树很好地分析能力，在决策过程中应用较多，可以选择特征
- 信息熵、信息增益的计算
- decisiontreeclassifier 进行决策树的划分
- export_graphviz 导出到dot文件
决策树可视化的三种方法：转自https://www.pythonheidong.com/blog/article/377321/85c2a92554f0033b5704/
方法一：直接使用sklearn.tree自带的plot_tree()方法
代码如下：
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import plot_tree
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
iris = load_iris()
# 数据拆分
X = iris.data
y = iris.target
X_train,X_test,y_train,y_test = train_test_split(X, y, random_state=0, test_size=1/4)
# 训练模型
dt_model = DecisionTreeClassifier(max_depth=4)
dt_model.fit(X_train, y_train)
# 数据可视化
plt.figure(figsize=(15,9))
plot_tree(dt_model,filled=True,feature_names=iris.feature_names, class_names=iris.target_names)
图片.png
方法二：使用Graphviz
需要安装
1. graphviz程序，并将安装目录下的bin目录添加到系统path环境变量中
2. graphviz模块, pip install graphviz
代码如下：
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import plot_tree
from sklearn.model_selection import train_test_split
from sklearn.tree import export_graphviz
import matplotlib.pyplot as plt
import graphviz
iris = load_iris()
# 数据拆分
X = iris.data
y = iris.target
X_train,X_test,y_train,y_test = train_test_split(X, y, random_state=0, test_size=1/4)
# 训练模型
dt_model = DecisionTreeClassifier(max_depth=4)
dt_model.fit(X_train, y_train)
# 数据可视化
tmp_dot_file = 'decision_tree_tmp.dot'
export_graphviz(dt_model, out_file=tmp_dot_file, feature_names=iris.feature_names, class_names=iris.target_names,filled=True, impurity=False)
with open(tmp_dot_file) as f:
dot_graph = f.read()
graphviz.Source(dot_graph)
图片.png
方法三：使用pydotplus模块
pydotplus依赖Graphviz这个绘图库, 它是c开发的, 所以在安装pydotplus之前, 需要首先安装Graphviz
pydotplus是python模块, 它的安装和安装普通的模块一样, 就是使用：
conda install pydotplus
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.tree import export_graphviz
from IPython.display import Image
import matplotlib.pyplot as plt
import pydotplus
iris = load_iris()
# 数据拆分
X = iris.data
y = iris.target
X_train,X_test,y_train,y_test = train_test_split(X, y, random_state=0, test_size=1/4)
# 训练模型
dt_model = DecisionTreeClassifier(max_depth=4)
dt_model.fit(X_train, y_train)
# 数据可视化
tmp_dot_file = 'decision_tree_tmp.dot'
export_graphviz(dt_model, out_file=tmp_dot_file, feature_names=iris.feature_names, class_names=iris.target_names,filled=True, impurity=False)
with open(tmp_dot_file) as f:
dot_graph = f.read()
graph = pydotplus.graph_from_dot_data(dot_graph)
graph.write_pdf('example.pdf') #保存图像为pdf格式
Image(graph.create_png()) #绘制图像为png格式
