3.2Web2.0对关系数据库带来的技术挑战 根据2018年8月20日中国互联网络信息中心发布的第42次《中国互联网 络发展状况统计报告》:截至2018年6月,我国网民规模达8.02亿,普及率为 57.7%。网民通过手机接入互联网的比例高达98.3%。我国手机网民数量约占 全球网民数量的1/5。社交平台和工具方面,截至2018年6月,微信朋友圈、 QQ空间的使用率分别为86.9%和64.7%,微博使用率为40.9%。 2019年1月9日,微信公布的《2018微信数据报告》指出,2018年,每天 发送消息450亿次,同比增长18%;每日音视频通话4.1亿次,同比增长100% ;相比2015年,2018年人均加好友数量增长110%。 新浪微博官方发布的2018年第三季度财报显示:截至2018年9月30日, 微博月活跃用户达4.46亿,拥有7000万的同比净增长,月活跃用户数中93% 为移动端用户,日活跃用户达到1.95亿。而快手、抖音等社交APP的用户也 数以亿计。 作为全球最受欢迎的社交软件,Facebook于2019年1月30日公布的2018年 度财报显示,其日活跃用户约为15.2亿,月活跃用户更是高达23.2亿
根据2018年8月20日中国互联网络信息中心发布的第42次《中国互联网 络发展状况统计报告》:截至2018年6月,我国网民规模达8.02亿,普及率为 57.7%。网民通过手机接入互联网的比例高达98.3%。我国手机网民数量约占 全球网民数量的1/5。社交平台和工具方面,截至2018年6月,微信朋友圈、 QQ空间的使用率分别为86.9%和64.7%,微博使用率为40.9%。 2019年1月9日,微信公布的《2018微信数据报告》指出,2018年,每天 发送消息450亿次,同比增长18%;每日音视频通话4.1亿次,同比增长100% ;相比2015年,2018年人均加好友数量增长110%。 新浪微博官方发布的2018年第三季度财报显示:截至2018年9月30日, 微博月活跃用户达4.46亿,拥有7000万的同比净增长,月活跃用户数中93% 为移动端用户,日活跃用户达到1.95亿。而快手、抖音等社交APP的用户也 数以亿计。 作为全球最受欢迎的社交软件,Facebook于2019年1月30日公布的2018年 度财报显示,其日活跃用户约为15.2亿,月活跃用户更是高达23.2亿。 3.2 Web 2.0对关系数据库带来的技术挑战
3.2Web2.0对关系数据库带来的技术挑战 因为Web2.0鼓励普通用户积极参与到网页内容的发布中来,并为之提 供灵活便捷地“写”网页内容的操作方式。这就使得基于Wb2.0运行模式的 互联网环境,具有良好的可扩展性、支持数据的高并发读写、系统具有很高 的可用性、数据模型比较简单、数据一致性要求不高、关注基于海量数据存 储的实时分析等系统特点。而这些新的系统应用特点,极大地限制了传统关 系数据库优势的发挥。 针对基于Wb2.0运行模式的混沌的互联网环境,如何超越以结构化关 系数据库为代表的传统的数据采集和管理模式,从中发现并验证推进社会良 性发展的行业与社会运行规律,实现数据管理和决策分析方面的技术创新, 更好地为社会不同的领域应用提供科学合理的决策依据,引导或促进社会的 良性发展,是大数据技术崛起背后的社会推动力和技术原动力
因为 Web2.0 鼓励普通用户积极参与到网页内容的发布中来,并为之提 供灵活便捷地“写”网页内容的操作方式。这就使得基于Web 2.0运行模式的 互联网环境,具有良好的可扩展性、支持数据的高并发读写、系统具有很高 的可用性、数据模型比较简单、数据一致性要求不高、关注基于海量数据存 储的实时分析等系统特点。而这些新的系统应用特点,极大地限制了传统关 系数据库优势的发挥。 针对基于Web 2.0运行模式的混沌的互联网环境,如何超越以结构化关 系数据库为代表的传统的数据采集和管理模式,从中发现并验证推进社会良 性发展的行业与社会运行规律,实现数据管理和决策分析方面的技术创新, 更好地为社会不同的领域应用提供科学合理的决策依据,引导或促进社会的 良性发展,是大数据技术崛起背后的社会推动力和技术原动力。 3.2 Web 2.0对关系数据库带来的技术挑战
3.2Web2.0对关系数据库带来的技术挑战 如何理解“面向结构化数据管理的数据库技术”与“面向非 结构化数据管理的大数据技术”之间的区别? 我们先定义三个基本概念: ■ 结构化数据,是指严格按照关系模型所定义的数据结构,进行有 序存放和管理的数据集合。 ■ 狭义的非结构化数据,也指纯非结构化数据,即完全不按照关系 模型所定义的数据结构,进行有序存放和管理的数据集合。 ■广义的非结构化数据,是指既包含结构化数据,又包含纯非结构 化数据的数据集合
如何理解“面向结构化数据管理的数据库技术”与“面向非 结构化数据管理的大数据技术”之间的区别? 我们先定义三个基本概念: ◼ 结构化数据,是指严格按照关系模型所定义的数据结构,进行有 序存放和管理的数据集合。 ◼ 狭义的非结构化数据,也指纯非结构化数据,即完全不按照关系 模型所定义的数据结构,进行有序存放和管理的数据集合。 ◼ 广义的非结构化数据,是指既包含结构化数据,又包含纯非结构 化数据的数据集合。 3.2 Web 2.0对关系数据库带来的技术挑战
3.2Web2.0对关系数据库带来的技术挑战 鉴于SQL对关系数据库的配置和实现的重要性,SQL已经成了各类关系数据 库的代名词。所以,在“非0即1”的思路下,早年处理基于Web2.0运行模式的 互联网环境下的各类非关系数据库技术,就笼统地被称为NoSQL,以表示用新型 的非关系数据库处理互联网环境下的非结构化数据。这种专门针对非结构化数据处 理而研发的数据处理技术,我们称之为“狭义”的大数据技术。 但是,随着这类旨在处理非结构化数据的“狭义”的大数据技术的应用深入, 人们发现完全脱离成熟的关系数据库系统,是一种不切实际的理想目标。在关系数 据库技术与Wb2.0运行模式“相爱相杀”的过程中,NoSQL就逐渐演变成了Not only SQL这样一种关系数据库与非结构化数据处理技术并存的技术生态环境。 NoSQL 狭义大数据理解 广义大数据理解 概念演变 Not only SQL 最初表示“反SQL”运动 现在表示关系和非关系型数据库各有优缺点 用新型的非关系数据库取代关系数据库 彼此都无法互相取代
鉴于 SQL 对关系数据库的配置和实现的重要性,SQL 已经成了各类关系数据 库的代名词。所以,在“非 0 即 1”的思路下,早年处理基于 Web 2.0 运行模式的 互联网环境下的各类非关系数据库技术,就笼统地被称为 NoSQL,以表示用新型 的非关系数据库处理互联网环境下的非结构化数据。这种专门针对非结构化数据处 理而研发的数据处理技术,我们称之为“狭义”的大数据技术。 但是,随着这类旨在处理非结构化数据的“狭义”的大数据技术的应用深入, 人们发现完全脱离成熟的关系数据库系统,是一种不切实际的理想目标。在关系数 据库技术与Web 2.0运行模式“相爱相杀”的过程中,NoSQL就逐渐演变成了Not only SQL这样一种关系数据库与非结构化数据处理技术并存的技术生态环境。 3.2 Web 2.0对关系数据库带来的技术挑战
3.2Web2.0对关系数据库带来的技术挑战 问题驱动和需求驱动,是新技术崛起的核心推动力! Web2.0时代 Webl.0时代 正式提出Big data的概念 非结构化数据处理技术 NoSQL >Not only SQL 2004 2008 图3-4 Webl.0到Web2.0的技术生态发展路线
问题驱动和需求驱动,是新技术崛起的核心推动力! 3.2 Web 2.0对关系数据库带来的技术挑战