《大数据导论》 教材官网:htp/ dblab. xmu. edu. cn/ post/bigdata-introduction 湿馨提示:编幻灯片母版,可以修改每页PPT的厦大校傲和底部文字 第7章数据处理与分析 (PPT版本号:2020年秋季学期) 林子雨博士教授 厦门大学计算机科学系 口 扫一扫访问教材官网 E-mail:ziyulin@xmu.edu.cnA 主页:http:/ldblab.xmu.edu.cn/post/linziyu 厦门大学计算机科学系 2020版
《大数据导论 厦门大学计算机科学系 》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 2020版 林子雨 博士/副教授 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 主页：http://dblab.xmu.edu.cn/post/linziyu 第7章 数据处理与分析 （PPT版本号：2020年秋季学期） 《大数据导论》 教材官网： http://dblab.xmu.edu.cn/post/bigdata-introduction/ 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 扫一扫访问教材官网
课程教材 林子雨编著《大数据导论》 ·人民邮电出版社,2020年8月第1版 SBN:978-7-115-54446-9定价:4980元 教材官网:http:/dblab.xmu.edu.cn/post/bigdata-introduction 大数感爱回 DDUCnON TO 回中出服划品想 扫一扫访问教材官网 大数据导论 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据导论》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程教材 • 林子雨 编著《大数据导论》 • 人民邮电出版社，2020年8月第1版 • ISBN:978-7-115-54446-9 定价：49.80元 教材官网：http://dblab.xmu.edu.cn/post/bigdata-introduction/ 扫一扫访问教材官网
提纲 71数据处理与分析的概念 7.2机器学习和数据挖掘算法 73大数据处理与分析技术 74大数据处理与分析代表性产品 G DAS 高校大数据课程 公共服务平台 百度搜索厦门大学数据库实验室网站访问平台 大数据导论》厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据导论》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 提纲 7.1 数据处理与分析的概念 7.2机器学习和数据挖掘算法 7.3 大数据处理与分析技术 7.4大数据处理与分析代表性产品 百度搜索厦门大学数据库实验室网站访问平台
通71数据处理与分析的概念 数据分析可以分为广义的数据分析和狭义的数据分析,广义的数据分 析就包括狭义的数据分析和数据挖掘。广义的数据分析是指用适当的 分析方法(来自统计学、机器学习和数据挖掘等领域),对收集来的 数据进行分析,提取有用信息和形成结论的过程。可以看出,在广义 的数据分析中,可以使用复杂的机器学习和数据挖掘算法,也可以根 本不使用这些算法,而只使用一些简单的统计分析方法,比如汇总求 和、求平均值、求均方差等。狭义的数据分析是指根据分析目的,用 适当的统计分析方法及工具,对收集来的数据进行处理与分析,提取 有价值的信息,发挥数据的作用。 7.1.1数据分析与数据挖掘 7.1.2数据分析与数据处理 7.1.3大数据处理与分析 大数据导论》厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据导论》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1 数据处理与分析的概念 7.1.1 数据分析与数据挖掘 7.1.2数据分析与数据处理 7.1.3大数据处理与分析 数据分析可以分为广义的数据分析和狭义的数据分析，广义的数据分 析就包括狭义的数据分析和数据挖掘。广义的数据分析是指用适当的 分析方法（来自统计学、机器学习和数据挖掘等领域），对收集来的 数据进行分析，提取有用信息和形成结论的过程。可以看出，在广义 的数据分析中，可以使用复杂的机器学习和数据挖掘算法，也可以根 本不使用这些算法，而只使用一些简单的统计分析方法，比如汇总求 和、求平均值、求均方差等。狭义的数据分析是指根据分析目的，用 适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取 有价值的信息，发挥数据的作用
7.1.1数据分析与数据挖掘 狭义的数据分析和数据挖掘是有着明显的区分的,具体如下 (1)在定义层面。狭义的数据分析,在上面已经定义过。而数据挖掘是指 从大量的数据中,通过统计学、人工智能、机器学习等方法,挖掘出未知 的、且有价值的信息和知识的过程。 (2)在作用层面。数据分析主要实现三大作用:现状分析、原因分析、预 测分析(定量)。数据分析的目标明确,先做假设,然后通过数据分析来 验证假设是否正确,从而得到相应的结论。数据挖掘主要侧重解决四类问 题:分类、聚类、关联和预测(定量、定性),数据挖掘的重点在寻找未 知的模式与规律;如著名的数据挖掘案例—啤酒与尿布,就是事先未知 的,但又是非常有价值的信息。 (3)在方法层面。数据分析主要采用对比分析、分组分析、交叉分析、回 归分析等常用分析方法;数据挖掘主要采用决策树、神经网络、关联规则、 聚类分析等统计学、人工智能、机器学习等方法进行挖掘; (4)在结果层面。数据分析一般都是得到一个指标统计量结果,如总和 平均值等,这些指标数据都需要与业务结合进行解读,才能发挥出数据的 价值与作用。数据挖掘则是输岀模型或规则,并且可相应得到模型得分或 标签,模型得分如流失概率值、总和得分、相似度、预测值等,标签如高 中低价值用户、流失与非流失、信用优良中差等。 大数据导论》厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据导论》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.1 数据分析与数据挖掘 狭义的数据分析和数据挖掘是有着明显的区分的，具体如下： （1）在定义层面。狭义的数据分析，在上面已经定义过。而数据挖掘是指 从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知 的、且有价值的信息和知识的过程。 （2）在作用层面。数据分析主要实现三大作用：现状分析、原因分析、预 测分析（定量）。数据分析的目标明确，先做假设，然后通过数据分析来 验证假设是否正确，从而得到相应的结论。数据挖掘主要侧重解决四类问 题：分类、聚类、关联和预测（定量、定性），数据挖掘的重点在寻找未 知的模式与规律；如著名的数据挖掘案例——啤酒与尿布，就是事先未知 的，但又是非常有价值的信息。 （3）在方法层面。数据分析主要采用对比分析、分组分析、交叉分析、回 归分析等常用分析方法；数据挖掘主要采用决策树、神经网络、关联规则、 聚类分析等统计学、人工智能、机器学习等方法进行挖掘； （4）在结果层面。数据分析一般都是得到一个指标统计量结果，如总和、 平均值等，这些指标数据都需要与业务结合进行解读，才能发挥出数据的 价值与作用。数据挖掘则是输出模型或规则，并且可相应得到模型得分或 标签，模型得分如流失概率值、总和得分、相似度、预测值等，标签如高 中低价值用户、流失与非流失、信用优良中差等