本章配套教学视频 《大数据技术原理与应用(第3版)》 在线视频观看地址 http://ww.icourse163.org/course/xmu-1002335004 大数据技术原理与应用 BIGDATA TECHNOLOGY AND APPLICATION 打开大数据之门,遨游大数据世界 大数据技术原理与应用(第3版 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 本章配套教学视频 http://www.icourse163.org/course/XMU-1002335004 《大数据技术原理与应用（第3版）》 在线视频观看地址
提纲 81 Hadoop的优化与发展 82HDFS20的新特性 83新一代资源管理调度框架YARN 84 Hadoop生态系统中具有代表性的功能组件 本PPT是如下教材的配套讲义: 《大数据技术原理与应用 -概念、存储、处理、分析与应用》 (2021年1月第3版) SBN:978-7-11554405-6 厦门大学林子雨编著,人民邮电出版社 欢迎访问《大数据技术原理与应用》教材官方网站: http://dblab.xmu.edu.cn/post/bigdata3 大数据技术原理与应用(第3版 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 提纲 • 8.1 Hadoop的优化与发展 • 8.2 HDFS2.0的新特性 • 8.3 新一代资源管理调度框架YARN • 8.4 Hadoop生态系统中具有代表性的功能组件 欢迎访问《大数据技术原理与应用》教材官方网站： http://dblab.xmu.edu.cn/post/bigdata3 本PPT是如下教材的配套讲义： 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2021年1月第3版） ISBN:978-7-115-54405-6 厦门大学 林子雨 编著，人民邮电出版社
8.1Hado的优化与发展 811 Hadoop的局限与不足 812针对 Hadoop的改进与提升 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.1Hadoop的优化与发展 8.1.1Hadoop的局限与不足 8.1.2针对Hadoop的改进与提升
8.1.1 Hadoop的局限与不足 Hadoop1.0的核心组件(仅指 MapReduce和HDFS,不包 括 Hadoop生态系统内的Pig、Hive、 HBase等其他组件), 主要存在以下不足 ·抽象层次低,需人工编码 表达能力有限 开发者自己管理作业(Job)之间的依赖关系 难以看到程序整体逻辑 执行迭代操作效率低 资源浪费(Map和 Reduce分两阶段执行) ·实时性差(适合批处理,不支持实时交互式) 大数据技术原理与应用(第3版 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.1.1Hadoop的局限与不足 Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包 括Hadoop生态系统内的Pig、Hive、HBase等其他组件）， 主要存在以下不足： •抽象层次低，需人工编码 •表达能力有限 •开发者自己管理作业（Job）之间的依赖关系 •难以看到程序整体逻辑 •执行迭代操作效率低 •资源浪费（Map和Reduce分两阶段执行） •实时性差（适合批处理，不支持实时交互式）
步8.12针对 Hadoop的改进与提升 Hadoop的优化与发展主要体现在两个方面: 一方面是Hado0自身两大核心组件 MapReduce,和 HDFS的架构设计改进 另一方面是 Hadoop生态系统其它组件的不断丰富,加入 Pg、Tez、 Sparki和 Kafka等新组件 大数据技术原理与应用(第3版 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.1.2针对Hadoop的改进与提升 Hadoop的优化与发展主要体现在两个方面： •一方面是Hadoop自身两大核心组件MapReduce和 HDFS的架构设计改进 •另一方面是Hadoop生态系统其它组件的不断丰富，加入 了Pig、Tez、Spark和Kafka等新组件