信息管理与信息系统专业导论 第05讲:大数据 阮晓龙 13938213680/rl@hactcmeducn http://linux.xg.hactcm.edu.cn 河南中医药大学信息管理与信息系统教研室 信息技术学院网络与信息系统科研工作室 2018.10
信息管理与信息系统专业导论 第05讲：大数据 1 阮晓龙 13938213680 / rxl@hactcm.edu.cn http://linux.xg.hactcm.edu.cn 河南中医药大学信息管理与信息系统教研室 信息技术学院网络与信息系统科研工作室 2018.10
提纲 口什么是大数据 概念/技术支持/大数据的来源 ¤大数据的关键技术 ■采集技术/存储与管理技术 ■计算模式与系统/数据分析与挖掘技术 隐私安全 口典型案例 环境云/百度迁徙/新浪舆情通/阿里云数加 我们的探索 ■网络监控分析/系统日志分析/教育评价分析 Cloud koshare providers 可南中医药大学/阮晓龙/13938213680/htp/ startxg. hactcm educn
河南中医药大学 / 阮晓龙 / 13938213680 / http://start.xg.hactcm.edu.cn 提纲 什么是大数据 ◼ 概念 / 技术支持 / 大数据的来源 大数据的关键技术 ◼ 采集技术 / 存储与管理技术 ◼ 计算模式与系统 / 数据分析与挖掘技术 ◼ 隐私安全 典型案例 ◼ 环境云 / 百度迁徙 / 新浪舆情通 / 阿里云数加 我们的探索 ◼ 网络监控分析 / 系统日志分析 / 教育评价分析 2
3 1什么是大数据 11大数据的概念 ¤云计算、物联网等技术的兴起,标志着我们已经逐步进入大数据时代 大数据时代的到来,已经引起了全世界各国和信息行业的广泛重视 大数据已经深入影响到人们的日常生活。 大数据的概念,最初代表着数据规模的庞大,但是随着大数据管理技 术的发展,这一简单的阐述已经不能完全概括大数据的内涵。仅仅是 数据规模上的庞大,似乎与以往的数据管理方式没有什么本质上的改 变。大数据的具体概念,要包括其数据处理的所有特点。 Cloud koshare providers 可南中医药大学/阮晓龙/13938213680/htp/ startxg. hactcm educn
河南中医药大学 / 阮晓龙 / 13938213680 / http://start.xg.hactcm.edu.cn 1.什么是大数据 云计算、物联网等技术的兴起，标志着我们已经逐步进入大数据时代。 大数据时代的到来，已经引起了全世界各国和信息行业的广泛重视， 大数据已经深入影响到人们的日常生活。 大数据的概念，最初代表着数据规模的庞大，但是随着大数据管理技 术的发展，这一简单的阐述已经不能完全概括大数据的内涵。仅仅是 数据规模上的庞大，似乎与以往的数据管理方式没有什么本质上的改 变。大数据的具体概念，要包括其数据处理的所有特点。 3 1.1大数据的概念
4 1什么是大数据 11大数据的概念 ¤现在广为公认的大数据定义是:在数量巨大、类型复杂、价值含量高 的数据信息基础上,实现对数据高速处理的数据管理模式。 ¤ Big Data(大数据),或称巨量資料,指的是所涉及的资料量的规模巨大 到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、 并整理成为帮助企业经营决策更积极目的的资讯。 目前,对于大数据的4V定义是目前较为统一的认识。其特有的4种特 征使得大数据的概念与以往海量数据″和″超大规模数据″有着本质区别, 除了用来描述数据之“大″,还指出了大数据的意义和必要性,即如何 从体量巨大、类型繁多、生成快速的数据集中挖掘价值。 Cloud koshare providers 可南中医药大学/阮晓龙/13938213680/htp/ startxg. hactcm educn
河南中医药大学 / 阮晓龙 / 13938213680 / http://start.xg.hactcm.edu.cn 1.什么是大数据 现在广为公认的大数据定义是：在数量巨大、类型复杂、价值含量高 的数据信息基础上，实现对数据高速处理的数据管理模式。 Big Data(大数据)，或称巨量资料，指的是所涉及的资料量的规模巨大 到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、 并整理成为帮助企业经营决策更积极目的的资讯。 目前，对于大数据的4V定义是目前较为统一的认识。其特有的４种特 征使得大数据的概念与以往“海量数据”和“超大规模数据”有着本质区别， 除了用来描述数据之“大”，还指出了大数据的意义和必要性，即如何 从体量巨大、类型繁多、生成快速的数据集中挖掘价值。 4 1.1大数据的概念
5 1什么是大数据 11大数据的概念 价值高( Value) 体量大( Volume) 大数据有巨大的潜在价值,但同其呈几 从2013年至2020年,人类的数据规模 何指数爆发式增长相比,某一对象或模 将扩大50倍,每年产生的数据量将增 块数据的价值密度较低,这无疑给我们 长到44万亿GB,相当于美国国家图书 开发海量数据增加了难度和成本。 馆数据量的数百万倍,且每18个月翻 -番。 速度快( Velocity) 特征 种类多( Variety) 随着现代感测、互联网、计算机技术 大数据与传统数据相比,数据来源广、 的发展,数据生成、储存、分析、处 维度多、类型杂,各种机器仪表在自动 理的速度远远超出人们的想象力, 产生数据的同时,太自身的生活行为也 是大数据区别于传统数据或小数据的 在不断创造数据不仅有企业组织内部习 显著特征。 的业务数据,还有海量相关外部数据。8 可南中医药大学/阮晓龙/13938213680/htp/ startxg. hactcm educn
河南中医药大学 / 阮晓龙 / 13938213680 / http://start.xg.hactcm.edu.cn 1.什么是大数据 5 1.1大数据的概念 4V 速度快（Ve l o c it y） 特征 种类多（Va r i et y） 价值高（Va l u e） 体量大（Vo l um e） 大数据与传统数据相比，数据来源广、 维度多、类型杂，各种机器仪表在自动 产生数据的同时，人自身的生活行为也 在不断创造数据；不仅有企业组织内部 的业务数据，还有海量相关外部数据。 随着现代感测、互联网、计算机技术 的发展，数据生成、储存、分析、处 理的速度远远超出人们的想象力，这 是大数据区别于传统数据或小数据的 显著特征。 大数据有巨大的潜在价值，但同其呈几 何指数爆发式增长相比，某一对象或模 块数据的价值密度较低，这无疑给我们 开发海量数据增加了难度和成本。 从2013年至2020年，人类的数据规模 将扩大50倍，每年产生的数据量将增 长到44万亿GB，相当于美国国家图书 馆数据量的数百万倍，且每18个月翻 一番