数据产生方式的变革促成大数据时代的来临 北京中医荔大亭 运营式系统阶段 用户原创内容阶段 感知式系统阶段 •数据库的出现使得 •数据爆发产生于 •感知式系统的广泛 数据管理的复杂度 Neb2.0时代,而 使用 大大降低,数据往 Web2.0的最重要 ·人类社会数据量第 往伴随着一定的运 标志就是用户原创 三次大的飞跃最终 营活动而产生并记 内容 导致了大数据的产 生 录在数据库中,数 •智能手机等移动设 据的产生方式是被 备加速内容产生 动的 •数据产生方式是主 动的 图1-5数据产生方式的变革
数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革
大数据的发展历程 北京中医荔大等 D%B方牌O罐dd 表1-2大数据发展的三个阶段 阶段 时间 内容 随着数据挖掘理论和数据库技术的逐步成熟,一 第一阶段: 上世纪90年代至 批商业智能工具和知识管理技术开始被应用,如 萌芽期 本世纪初 数据仓库、专家系统、知识管理系统等。 Web2.0应用迅猛发展,非结构化数据大量产生, 传统处理方法难以应对,带动了大数据技术的快 第二阶段: 速突破,大数据解决方案逐渐走向成熟,形成了 本世纪前十年 成熟期 并行计算与分布式系统两大核心技术,谷歌的 GFS和MapReduce等大数据技术受到追捧, Hadoop平台开始大行其道 第三阶段: 大数据应用渗透各行各业,数据驱动决策,信息 大规模应用 2010年以后 社会智能化程度大幅提高 期
大数据的发展历程 阶段 时间 内容 第一阶段: 萌芽期 上世纪90年代至 本世纪初 随着数据挖掘理论和数据库技术的逐步成熟,一 批商业智能工具和知识管理技术开始被应用,如 数据仓库、专家系统、知识管理系统等。 第二阶段: 成熟期 本世纪前十年 Web2.0应用迅猛发展,非结构化数据大量产生, 传统处理方法难以应对,带动了大数据技术的快 速突破,大数据解决方案逐渐走向成熟,形成了 并行计算与分布式系统两大核心技术,谷歌的 GFS和MapReduce等大数据技术受到追捧, Hadoop平台开始大行其道 第三阶段: 大规模应用 期 2010年以后 大数据应用渗透各行各业,数据驱动决策,信息 社会智能化程度大幅提高 表1-2 大数据发展的三个阶段
2.大数据概念 北京中医荔大等 D%B方牌O罐dd SOCIAL BLOG 101100101001 001001101010 SMART 101011100101 METER I816 010100100101 VOLUME VELOCITY VARIETY VALUE 大量化 快速化 多样化 大数据不仅仅是数据的“大量化”,而是包含“快速 化”、“多样化”和“价值化”等多重属性
2.大数据概念
数据量大 ■根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每 两年就增长一倍(大数据摩尔定律) ■人类在最近两年产生的数据量相当于之前产生的全部数据量 ■预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量 将增长近30倍 TERABYTE 10的12次方 一块1TB硬盘 200,000照片或 mp3歌曲 PETABYTE 10的15次方 两个数据中心 16个Blackblaze 机柜 pod存储单元 Growing by a EXABYTE 10的18次方 2,000个机柜 占据一个街区的 Factor of 44 2009: 4层数据中心 0.8Zb ZETTABYTE 10的21次方 1000个数据中 纽约曼哈顿的 1/5区城 2020:35.2 Zettabytes YOTTABYTE 10的24次方 百万个数据 特拉华州和罗德 中心 岛州
数据量大 ◼根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每 两年就增长一倍(大数据摩尔定律) ◼人类在最近两年产生的数据量相当于之前产生的全部数据量 ◼预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量 将增长近30倍