人类的决策过程→决策树学习 色泽=？ 青绿 与人类决策过程类似，决策树也是这种基于规则的方法，它用 根蒂=？ 一组嵌套的规则进行预测： 蜷缩 嵌套的规则形成一种基于树结构的预测： 敲声=？ 浊响 ·由对象的若干属性、属性值和有关决策组成的一棵树： 好瓜 ·决策树包含一个根结点、若干内部结点和叶结点： ·决策树的结点为属性（一般为语言变量）； 决策树学习的目的是为了产生一棵泛化能 ·树的分枝为相应的属性值（一般为语言值）； 力强，即处理未见示例能力强的决策树 Hangzhiou①ianzi Universi的抗州电子科技大学 School(of Computer Science and Technology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 人类的决策过程决策树学习 与人类决策过程类似，决策树也是这种基于规则的方法，它用 一组嵌套的规则进行预测； 嵌套的规则形成一种基于树结构的预测： • 由对象的若干属性、属性值和有关决策组成的一棵树； • 决策树包含一个根结点、若干内部结点和叶结点； • 决策树的结点为属性（一般为语言变量）； • 树的分枝为相应的属性值（一般为语言值）； 色泽=? 根蒂=? 敲声=? 好瓜 青绿 蜷缩 浊响 …... … …... … …... … 决策树学习的目的是为了产生一棵泛化能 力强，即处理未见示例能力强的决策树
决策树示意图 A a 结点A,B,C代表各个属性； a,b,ck代表各属性的属性值： B 叶结点d,代表对应的决策结果； 内部结点则对应于一个属性测试： d k da g de 从根结点到每个叶结点的路径对应了一个判定测试序列。 决策树上从根节点到各叶子节点分枝路径上的诸“属性-值”对，和对应叶子节点的决策，构成 一个产生式规则。如A到d,的规则：(A=a1)∧(B=b2)=>d2 Hangchou①ianzi Universi的y杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 决策树示意图 结点 A, B, C 代表各个属性； ai, bj, ck 代表各属性的属性值； 叶结点 dl 代表对应的决策结果； 内部结点则对应于一个属性测试； 从根结点到每个叶结点的路径对应了一个判定测试序列。 决策树上从根节点到各叶子节点分枝路径上的诸“属性-值”对，和对应叶子节点的决策，构成 一个产生式规则。如 A 到 d2 的规则：(A= a1)∧(B= b2) => d2
决策树举例 天气 机场指挥台关于飞机起飞的简单决策树。 晴 阴 雨 风力 风力 取消 属性 属性值 大 小 大 小 天气 晴、阴、雨 风力 大、小 等待 地雾 取消 起飞 地雾 有、无 有 无 等待 起飞 Hangzhiou①ianzi Universi的抗州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 决策树举例 机场指挥台关于飞机起飞的简单决策树。 属性 属性值 天气 晴、阴、雨 风力 大、小 地雾 有、无
食物 决策树举例2 肉 草 描述“兔子”概念的决策树 否 体型 小 大 中 属性 属性值 耳朵 否 否 食物 食肉、食草 长 短 体型 大、中、小 尾巴 否 耳朵 长、短 尾巴 长、短 长 短 嘴型 两瓣、三瓣 否 嘴形 两瓣 三瓣 否 是 Hangzhou①ianzi Universi的杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 决策树举例2 描述“兔子”概念的决策树 属性 属性值 食物 食肉、食草 体型 大、中、小 耳朵 长、短 尾巴 长、短 嘴型 两瓣、三瓣
怎样学习决策树？ 决策树学习是以实例为基础的归纳学习； 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则： 其基本流程遵循简单且直观的“分而治之(divide-and-conquer)”策略。 决策树的关键是选择最优划分属性，其基本思想： ·以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的 实例都属于同一类。 Hangzhou①ianzi Universi的y杭州电子科技大学 School of Computer Science and Tecfnology计算机学院周文库
Hangzhou Dianzi University 杭州电子科技大学 School of Computer Science and Technology 计算机学院 周文晖 怎样学习决策树 ? 决策树学习是以实例为基础的归纳学习； 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则； 其基本流程遵循简单且直观的“分而治之 (divide-and-conquer)”策略。 决策树的关键是选择最优划分属性，其基本思想: • 以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的 实例都属于同一类