第四章-决策树

 代码如下：

import numpy as np
import pandas as pd
data=pd.read_excel("西瓜数据集.xlsx")
D=data
A=D.columns[1:-1]#列标签作为属性集，除去编号，和好瓜（它们不是特征）
class TreeNode:def __init__(self):self.mark=None#如果mark=-1 则该节点是叶子节点，否则是分支决策节点self.decision=None#如果是叶子节点，则是类别（好瓜：是or否），如果是分支决策节点，则是划分的属性self.chids={}#用字典存储分支的孩子{属性值：分支节点}
def Max_class(D):#取D数据集中类别的最多的那个类max_class=D["好瓜"].iloc[0]max_value=0for i in set(D["好瓜"]):#{否，是}count=np.sum(D["好瓜"]==i)#统计类别个数if max_value<count:max_value=countmax_class=ireturn max_class#返回最多的那个类名称def Ent(D):#数据集的熵，当前样本的纯度ent_d=0for i in set(D["好瓜"]):#{是，否}class_num=np.sum(D["好瓜"]==i)#统计某类样本的个数pk=class_num/D.shape[0]#计算该类在数据集中的占比ent_d+=pk*np.log2(pk)#计算某类的熵，并累加return -1*ent_d#返回最终的数据集熵值def Gain(D,a):dv_ent_sum=0for v in set(D[a]):site=np.where(D[a]==v)#得到符合条件样本的下标Dv=D.iloc[site]#通过iloc函数取出对应下标的样本，组成子集DvDv_div_D=Dv.shape[0]/D.shape[0]#计算|Dv|/|D|的值ent_dv=Ent(Dv)#得到某个属性取值Dv子集的信息熵dv_ent_sum+=Dv_div_D*ent_dv#得到a属性总的信息熵return Ent(D)-dv_ent_sumdef AttChoice(D,A):#获得信息增益最大的那个属性max_gain_a=A[0]#假定好的是第0个属性max_gain=0#假定信息增益取值为0for a in A:#循环找到最大信息增益的属性print(a,"的信息增益为：",Gain(D,a))if max_gain<Gain(D,a):max_gain=Gain(D,a)max_gain_a=aprint("当前选择的最优属性决策是：",max_gain_a)return max_gain_a#返回信息增益最大的属性def TreeGenerate(D, A, node):if len(set(D['好瓜'])) == 1:  # 如果类别集合长度==1则说明只有一类print(D)print("样本集合已经非常纯了，全是同类样本！选择最多那个类即可！")node.mark = -1  # 标记为-1 ，是叶子节点node.decision = Max_class(D)  # 把数据集中最多的那个类作为分类结果if node.decision == "是":print("是【好瓜】")else:print("是【坏瓜】")print("==========返回了===========")returnif len(A) == 0 or np.sum(D[A].values[:] == D[A].values[0]) == D[A].shape[0] * D[A].shape[1]:print("没有可以选择的属性来作为决策，需要立即得到分类结果，或者样本的属性取值都一样，无需分类，选择最多的那个类即可！")node.mark = -1  # 标记为-1 ，是叶子节点node.decision = Max_class(D)  # 把数据集中最多的那个类作为分类结果if node.decision == "是":print("是【好瓜】")else:print("是【坏瓜】")print("==========返回了===========")returngood_a = AttChoice(D, A)  # 从A中选择最优划分属性good_afor a_v in set(D[good_a]):print("当前选择的分支属性是：", a_v)node_c = TreeNode()  # 生成分支节点node.chids[a_v] = node_c  # 链接分支Dv = D.iloc[np.where(D[good_a] == a_v)]  # 得到属性good_a 取值为a_v的样本集if Dv.shape[0] == 0:  # 判断Dv是否为空print("当前分支的样本数是0，无法分类，直接选择样本集最多的类作为分类结果。")node_c.mark = -1  # 标记为叶子节点node_c.decision = Max_class(D)print("==========返回了===========")returnelse:node.mark = 1  # 不是分类节点（叶子节点）,赋值为非-1的值即可node.decision = good_a  # node节点为分支决策节点，节点的值为最优划分属性即可TreeGenerate(Dv, np.delete(A, np.where(A == good_a)), node_c)  # 递归，下一层，同样是决策树，只是数据集更小，属性越少node = TreeNode()
Root = node
TreeGenerate(D,A,node)
print("測試一下")
for i in range(0,data.shape[0]-1):test_sample=D.iloc[i]print("=============START==================")print("类别应该是:",test_sample["好瓜"])root=Rootwhile(root.mark!=-1):#如果不是叶子节点(需要我们对属性进行决策)a_v=test_sample[root.decision]#利用决策树的decision来获取要决策的属性root=root.chids[a_v]#mark==-1的时候结束，说明可以输出最终的分类了print("分类结果：",root.decision)print("==============END===================")

数据集数据如下：