第5章HDFS 《大数据技术基础》
《大数据技术基础》 第5 章 HDFS
提纲 51分布式文件系统 52HDFS简介 53HDFS相关概念 54HDFS体系结构 55HDFs存储原理 56HDFS大数据读写过程 57HDFS编程实践
提纲 • 5.1 分布式文件系统 • 5.2 HDFS简介 • 5.3 HDFS相关概念 • 5.4 HDFS体系结构 • 5.5 HDFS存储原理 • 5.6 HDFS大数据读写过程 • 5.7 HDFS编程实践
5.1分布式文件系统 5.1.1 计算机集群结构 5.1.2 分布式文件系统的结构 5.1.3 分布式文件系统的设计需求
5.1 分布式文件系统 • 5.1.1 计算机集群结构 • 5.1.2 分布式文件系统的结构 • 5.1.3 分布式文件系统的设计需求
5.1.1计算机集群结构 ·分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算 机节点构成计算机集群 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目 前的分布式文件系统所采用的计算机集群,都是由普通硬件构成的,这就 大大降低了硬件上的开销 交换机 节点x 网络互联 节点y 机架2 图5-1计算机集群的基本架构
5.1.1 计算机集群结构 •分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算 机节点构成计算机集群 •与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目 前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就 大大降低了硬件上的开销 图5-1 计算机集群的基本架构
512分布式文件系统的结构 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为 两类,一类叫“主节点”( Master node)或者也被称为“名称结点”( NameNode), 另一类叫“从节点”( Slave node)或者也被称为“数据节点”( DataNode) 客户端)访问请求 主节点 访问请求(客户端 读 写 数据节点 数据节点 复制 丰块 机架 机架n 图5-2大规模文件系统的整体结构
5.1.2 分布式文件系统的结构 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为 两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)， 另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode) 图5-2 大规模文件系统的整体结构