决策树

Julia999

定义：
决策树是一种特殊的树形结构，一般由节点和有向边组成。其中，节点表示特征、属性或者一个类。而有向边包含有判断条件。

决策树学习的三个步骤:

特征选择

树的生成

树的剪枝

生成算法：

决策树内节点->特征

决策树的叶结点->类别

ID3   信息增益最大

C4.5   信息增益比最大

CART   基尼指数最小

（信息熵：值越大，随机变量的不确定性就大）

（信息增益是由信息熵计算得来的，值越大，就说明这个特征越重要）（选择特征的时候肯定是选择对我们来说比较重要的特征）

（基尼系数：比如一个国家中的基尼指数是1，表示这个国家大家都是平均的，如果是0，表示这个国家只有一个人赚钱，基尼指数是0，表示纯度最高）

ID3 算法通过递归的方式建立决策树。建立时，从根节点开始，对节点计算每个独立特征的信息增益，选择信息增益最大的特征作为节点特征。接下来，对该特征施加判断条件，建立子节点。然后针对子节点再此使用信息增益进行判断，直到所有特征的信息增益很小或者没有特征时结束，这样就逐步建立一颗完整的决策树。

C4.5 算法使用了信息增益比来选择特征，这被看成是 ID3 算法的一种改进。

ID3 和 C4.5 算法简单高效，但是他俩均存在一个缺点，那就是用 “完美去造就了另一个不完美”。

但是这两个算法易造成过拟合而使得模型的泛化能力变弱。

当然，过拟合的问题也是可以解决的，那就是对决策树进行修剪。

例子：对鸢尾花分类。

数据集简介：
鸢尾花数据集总共包含 150 行数据。每一行数据由 4 个特征值及一个目标值组成。其中 4 个特征值分别为：萼片长度、萼片宽度、花瓣长度、花瓣宽度。而目标值及为三种不同类别的鸢尾花，分别为：Iris Setosa，Iris Versicolour，Iris Virginica。
在例子中使用 scikit-learn 提供的方法导入该数据集。

from sklearn import datasets #导入数据集
iris=datasets.load_iris()  #下载花的数据集
iris.data  #查看一下iris数据  
#但是上面的查看方式不好看，我们导入pandas使得数据更加好看,pandas里面有一个DataFrame，可以将我们的数据处理成表格的形式，使我们可以看得更舒服
import pandas as pd
#这样输出的表格可能看上去没那么可观，所以我们加上：...
#pd.DataFrame(iris.data)
features=pd.DataFrame(iris.data,columns=iris.feature_names)
features
target=pd.DataFrame(iris.target,columns=['type'])
target
#我们现在已经得到了数据和标签，那么下一步应该是划分数据，一部分拿来做训练，一部分拿来做测试
#我们一般的经验是拿70%作为训练集，30%作为训练集，所以下面我们也打算这样
split_num=int(len(features)*0.7 ) #计算我们有多少行数据
train_features=features[:split_num]
test_features=features[split_num:]
train_targets=targets[:split_num]
test_targets=targets[split_num:]
#但是现在有一个问题了，我们发现我们拿去做训练的70%的数据的标签全部都是2的，很明显这样做训练是不正确，所以我们需要用另外一种方法
#你会发现，这些数据是按照鸢尾花类别的顺序排列的。所以，如果我们将其直接划分为训练集和数据集的话，就会造成数据的分布不均。详细来讲，直接划分容易造成某种类型的花在训练集中一次都未出现，训练的模型就永远不可能预测出这种花来。你可能会想到，我们将这些数据大乱后再划分训练集和数据集。当然，更方便地，scikit-learn 为我们提供了训练集和数据集的方法。
from sklearn.model_selection import train_test_split
features_train,features_test,target_train,target_test=train_test_split(features,targets,test_size=0.3, random_state=42)
#把数据都划分好了，现在开始生成决策树了
from sklearn.tree import DecisionTreeClassifier
model=DecisionTreeClassifier()
model
#训练模型
model.fit(features_train,target_train)
#训练好了，那么咋知道是到底好没好捏~
model.predict(features_test)  #将我们的训练数据放进去，当然，既然是预测，就不要将我们的targets也放进去啦，就单纯放特征进去，让模型预测
#看看我们的实际的标签应该是怎么样的，进行对比，看看正确率
target_test.values.flatten()
#但是，我们想知道我们到底预测的准确度是多少，那么可以用：
from sklearn.metrics import accuracy_score
accuracy_score(target_test.values.flatten(),model.predict(features_test))
#但是要注意上面的函数中的参数传递顺序，应该是实际的在前面，预测的在后面

#上面的步骤貌似已经完成了决策树，但是捏，总觉得少了些啥，没错，就是图，没有图，感觉决策树好难懂~
import graphviz
from sklearn.tree import export_graphviz
image=export_graphviz(model,out_file=None,feature_names=iris.feature_names,class_names=iris.target_names,filled=True,node_ids=True,rounded=True)
graphviz.Source(image)

你可以看出两种准确度方法输入参数的区别。一般情况下，模型预测的准确度会和多方面因素相关。首先是数据集质量，本实验中，我们使用的数据集非常规范，几乎不包含噪声，所以预测准确度非常高。其次，模型的参数也会对预测结果的准确度造成影响。