第二章示例学习 示例学习的问题描述(见表21表22) 二.决策树学习(ID3算法) 1.学习效果的衡量标准(示例学习的优化问题) 2.ID3算法: 输入:例子集(正例、反例); 输出:决策树 从树的根结点开始,每次都用“最好的属性”划分结点,直 到所有结点只含一类例子为止。 3.信息增益 结点node例子集C,p个正例n个反例结点node的“信息熵
第二章 示例学习 一. 示例学习的问题描述（见表2.1,表2.2） 二. 决策树学习（ID3算法） 1. 学习效果的衡量标准（示例学习的优化问题） 2. ID3算法： 输入：例子集（正例、反例）； 输出：决策树 从树的根结点开始，每次都用“最好的属性”划分结点，直 到所有结点只含一类例子为止。 3. 信息增益 结点nodei 例子集C, p个正例 n个反例 结点nodei的“信息熵
表21 例子号高度头发眼睛类别 淡黄 矮高高高矮高高矮 淡黄 兰兰兰褐 十+ 2345678 红镇黑黑黑 淡黄 兰褐褐 [头发=淡黄∨红色]眼睛=蓝色]→ 头发一黑色∨[眼睛=褐色]→
例子号 高度 头发 眼睛 类别 1 矮 淡黄 兰 + 2 高 淡黄 兰 + 3 高 红 兰 + 4 高 淡黄 褐 – 5 矮 黑 兰 – 6 高 黑 兰 – 7 高 黑 褐 – 8 矮 淡黄 褐 – [头发=淡黄∨红色][眼睛=蓝色] → + [头发=黑色] ∨[眼睛=褐色] → – 表2.1
表22 Day Outlook Temperature Humidity Wind Class sunny hot High False N sunny hot High True N oⅤ vercast hot High False P 23456789 rain ild mI High False P rain Normal False P rain co0 Normal True N overcast cool Normal True P Sunny mild High False N Sunny cool normal false p
表2.2 Day Outlook Temperature Humidity Wind Class 1 sunny hot High False N 2 sunny hot High True N 3 overcast hot High False P 4 rain mild High False P 5 rain cool Normal False P 6 rain cool Normal True N 7 overcast cool Normal True P 8 sunny mild High False N 9 sunny cool normal false p
10 Rain Mild Normal False 11Sunny Mild Normal True 12 OvercastMild High True 13 Hot Normal False PPPPN 14 rain Mild High True
10 Rain Mild Normal False P 11 Sunny Mild Normal True P 12 Overcast Mild High True P 13 Overcast Hot Normal False P 14 rain Mild High True N
outlook sunny rain overcast 1-,2-:8,9+,11+} 37+,12+,13} 456,10,14} humidity Windy high normal true se 1-2.8-}{9+,1+ {6,14 {4+,5+,10+} P
outlook sunny overcast rain humidity p windy high normal N P true false N P {1…14} {1-,2-,8-,9+,11+} {3+ ,7+ ,12+ ,13+} {4+ ,5+ ,6- ,10+ ,14-} {1-,2-,8-} {9+,11+} {6- ,14-} {4+ ,5+ ,10+}