主要内容 决簟树基本概念 决策树算法 决策树研究问题 主要参考文献
主要内容 决策树基本概念 决策树算法 决策树研究问题 主要参考文献
决策树 决戴树算法 与决策树相关的重要算法 CLS ID3, C4.5, CART 1、 Hunt Marin和 Stone于1966年研制的CLS学习糸统,用于学习单个概 念 2、1979年,JR. Quinlan给出D3算法,并在1983年和1986年对D3进行 了总结和简化,使其成为决策树学习算法的典型。 3、 Schlimmer和 Fisher于1986年对D3进行改造,在每个可能的决策树 节点创建缓冲区,使决策树可以递增式生成,得到I4算法。 4、1988年,Utgo在Ⅲ4基础上提出了Ⅲ5学习算法,进一步提高了效 率 1993年,( quinlan进一步发畏了I3算法,改进成C4.5算法。 5、另一类决策树算法为CART,与C4.5不同的是,CART的决策树由二 元逻辑问題生成,每个树节点只有两个分枝,分别包括学习实例的正 例与反例
决策树 决策树算法 与决策树相关的重要算法 1、Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习单个概 念。 2、1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对ID3 进行 了总结和简化，使其成为决策树学习算法的典型。 3、Schlimmer 和Fisher 于1986年对ID3进行改造，在每个可能的决策树 节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。 4、1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高了效 率。 1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。 5、另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二 元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正 例与反例。 CLS, ID3，C4.5，CART
决策树基础 ●女孩家长 年龄 <=30 >30 安排相亲 长相 不见 ◆女孩 帅或中等 丑 不厌其烦 收入 不见 ◆女孩 高/啥低 提出决策树 公务 员 不见 ●父母筛选 是不是 候选男士 见 不见 EncZhang's Tech Blog(htp: /eoo2sk cnblogs com)
决策树基础 女孩家长 安排相亲 女孩 不厌其烦 女孩 提出决策树 父母筛选 候选男士
决策树基础 有向无环二叉/多叉树 父节点:没有子节点的节点 内部节点:有父节点、子节点的节点 叶节点:有父节点没有子节点的节点 父节点 内部节点 分割属性+判断规则 叶节点 类别标识
决策树基础 有向无环 二叉/多叉树 ⚫ 父节点：没有子节点的节点 ⚫ 内部节点：有父节点、子节点的节点 ⚫ 叶节点：有父节点没有子节点的节点 父节点 内部节点 叶节点 分割属性+判断规则 类别标识
决策树基础 年龄 <=30 >30 长相 不见 帅或中等 丑 收入 不见 叶节点 高 中等 (类别标识) 公务 员 不见 节点 是不是 内部节点 见 不见 2m-(分割属性+判断规则)
决策树基础 父节点 内部节点 叶节点 （类别标识） （分割属性+判断规则）