1 信息管理与信息系统专业导论 第05讲:大数据 阮跷龙 13938213680/ nxlwhactcm.edu.cn http://linuxxg.hactcm.edu.cn 问南中医药大字信息管理与信息系统教研室 信息技术字院网络与信息系统料研工作 20199
2 提纲 什么是大数据 ■概念/技术支持/大数据的来源 大数据的关键技术 采集技术/存储与管理技术 计算模式与系统/数据分析与挖掘技术 ■隐私安全 典型案例 ■环境云/百度迁徙/新浪舆情通/阿里云数加 我们的探索 ■网络监控分析/系统日志分析/教育评价分析 Cloud 河南中医药大学/阮晓龙/13938213680/htp /13938213680/http://startxg.hactcm.edu.cn.hactcmeducn
3 1什么是大数据 11大数据的概念 口云计算、物联网等技术的兴起,标志着我们已经逐步进入大数据时代。 大数据时代的到来,已经引起了全世界各国和信息行业的广泛重视, 大数据已经深入影响到人们的日常生活。 ¤大数据的概念,最初代表着数据规模的庞大,但是随着大数据管理技 术的发展,这一简单的阐述已经不能完全概括大数据的内涵。仅仅是 数据规模上的庞大,似乎与以往的数据管理方式没有什么本质上的改 变。大数据的具体概念,要包括其数据处理的所有特点。 Cloud share 可南中医药大学/阮晓龙/13938213680/ht// tartxg. hactcm.edu.cn
4 1什么是大数据 11大数据的概念 ¤现在广为公认的大数据定义是:在数量巨大、类型复杂、价值含量高 的数据信息基础上,实现对数据高速处理的数据管理模式。 Big Data(大数据),或称巨量资料,指的是所涉及的资料量的规模巨大 到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、 并整理成为帮助企业经营决策更积极目的的资讯 ¤目前,对于大数据的4∨定义是目前较为统一的认识。其特有的4种特 征使得大数据的概念与以往"海量数据"和"超大规模数据有着本质区别, 除了用来描述数据之“大”,还指出了大数据的意义和必要性,即如何 从体量巨大、类型繁多、生成快速的数据集中挖掘价值。 share 可南中医药大学/阮晓龙/13938213680/ht// tartxg. hactcm.edu.cn
5 1什么是大数据 11大数据的概念 价值高( Value) 体量大( Volume) 大数据有巨大的潜在价值,但同其呈几 从2013年至2020年,人类的数据规模 何指数爆发式增长相比,某一对象或模 将扩大50倍,每年产生的数据量将增 块数据的价值密度较低,这无疑给我们 长到44万亿GB,相当于美国国家图书 开发海量数据增加了难度和成本。 4V 馆数据量的数百万倍,且每18个月翻 一番 速度快( Velocity) 特征 种类多( Variety) 随着现代感测、互联网、计算机技术 大数据与传统数据相比,数据来源广、 的发展,数据生成、储存、分析、处 维度多、类型杂,各种机器仪表在自动 理的速度远远超出人们的想象力,这 产生数据的同时,人自身的生活行为也 是大数据区别于传统数据或小数据的 在不断创造数据;不仪有企业组织内部 显著特征。 的业务数据,还有海量相关外部数据。 可南中医药大学/阮晓龙/13938213680/ht// tartxg. hactcm.edu.cn