数据概化 数据概化的两种常用方法:属性删除和属性概 口属性删除的适用规则:对初始工作关系中具有大量 不同值的属性,符合以下情况,应使用属性删除: 在此属性上没有概化操作符(比如该属性没有定义相关的 概念分层) 该属性的较高层概念用其他属性表示 口属性概化的使用规则:如果初始工作关系中的某个 属性具有大量不同值,且该属性上存在概化操作符, 则使用该概化操作符对该属性进行数据概化操作
数据概化 ◼ 数据概化的两种常用方法：属性删除和属性概 化 ❑ 属性删除的适用规则：对初始工作关系中具有大量 不同值的属性，符合以下情况，应使用属性删除： ◼ 在此属性上没有概化操作符（比如该属性没有定义相关的 概念分层） ◼ 该属性的较高层概念用其他属性表示 ❑ 属性概化的使用规则：如果初始工作关系中的某个 属性具有大量不同值，且该属性上存在概化操作符， 则使用该概化操作符对该属性进行数据概化操作
浙江大学远程教育学院 DISTANCELEARN I NGSCHOOLOFZHEJI ANGUN I VERS I TY 任课教师:王灿 课程代码:0703004 课程名称:数据挖掘 第11-12讲 教师E-mai:sjwj@dlc.zju.edu.cn
11-12 王 灿 数据挖掘 sjwj@dlc.zju.edu.cn 0703004
属性概化控制 ■确定什么是“具有大量的不同值”,控制将属性概化 到多高的抽象层。 ■属性概化控制的两种常用方法 ¤属性概化临界值控制 对所有属性 个概化临界值或者是对每个属性都设置一个 临界值"( 为2到8) 口概化关系临界值控制 为概化关系设置一个临界值,确定概化关系中,不同元组的个 数的最大值。(通常为10到30,应该允许在实际应用中进行调 整) ¤處技杰庸奘累缳櫂經榯缩耱粑2 来概化每个 的关系。 ■相等元组的合并、累计计数和其他聚集值
属性概化控制 ◼ 确定什么是“具有大量的不同值”，控制将属性概化 到多高的抽象层。 ◼ 属性概化控制的两种常用方法： ❑ 属性概化临界值控制 ◼ 对所有属性设置一个概化临界值或者是对每个属性都设置一个 临界值（一般为2到8） ❑ 概化关系临界值控制 ◼ 为概化关系设置一个临界值，确定概化关系中，不同元组的个 数的最大值。（通常为10到30，应该允许在实际应用中进行调 整） ❑ 两种技术的顺序使用：使用属性概化临界值控制来概化每个 属性，然后使用关系临界值控制进一步压缩概化的关系。 ◼ 相等元组的合并、累计计数和其他聚集值
面向属性的归纳——示例 挖掘 Big-University数据库中研究生的一般特征 o name:删除属性 口 gender:保留该属性,不概化 口 major:根据概念分层向上攀升{文,理,工…} birth- place:根据概念分层 location向上攀升 a birth date:概化为age,再概化为 age range a residence:根据概念分层 location向上攀升 phone#:删除属性 agpa:根据GPA的分级作为概念分层
面向属性的归纳——示例 ◼ 挖掘Big-University数据库中研究生的一般特征 ❑ name：删除属性 ❑ gender：保留该属性，不概化 ❑ major：根据概念分层向上攀升{文，理，工…} ❑ birth_place：根据概念分层location向上攀升 ❑ birth_date：概化为age，再概化为age_range ❑ residence：根据概念分层location向上攀升 ❑ phone#：删除属性 ❑ gpa：根据GPA的分级作为概念分层
面向属性的归纳——示例 Name Gender Major Birth-Place Birth_dateResidence Phone# GPA 初始工作Jm M Vancouver, BC,8-12-76 3511 Main St,I687-4598367 关系 Woodman Richmond Montreal, Que, 28-7-75 345 Ist Ave,253-91063.70 Lachance Canada Richmond Laura lee F Physics Seattle, WA, USA 25-8-70 125 Austin Ave,I 420-52323.83 Burnaby Removed Retained Sci, Eng, Country Age rangeCity Removed Excl BU US Gender major Birth region Age range Residence GPa count 主概化关系 M Science Canada 20-25 Richmond Very-good16 F Science Forei 25-30 Burnaby Excellent
面向属性的归纳——示例 Name Gender Major Birth-Place Birth_date Residence Phone # GPA Jim Woodman M CS Vancouver,BC, Canada 8-12-76 3511 Main St., Richmond 687-4598 3.67 Scott Lachance M CS Montreal, Que, Canada 28-7-75 345 1st Ave., Richmond 253-9106 3.70 Laura Lee … F … Physics … Seattle, WA, USA … 25-8-70 … 125 Austin Ave., Burnaby … 420-5232 … 3.83 … Removed Retained Sci,Eng, Bus Country Age range City Removed Excl, VG,.. Gender Major Birth_region Age_range Residence GPA Count M Science Canada 20-25 Richmond Very-good 16 F Science Foreign 25-30 Burnaby Excellent 22 … … … … … … … 主概化关系 初始工作 关系