10.2HDFS文件系统 HDFS架构： ·Master/Slave架构，集群中只设置一个主节点 ·优： ·简化了系统设计 ·元数据管理和资源调配更容易 ·劣： ·命名空间的限制 ·性能的瓶颈 ·单点失效(SPOF)问题： Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 11 HDFS架构： • Master/Slave架构，集群中只设置一个主节点 • 优： • 简化了系统设计 • 元数据管理和资源调配更容易 • 劣： • 命名空间的限制 • 性能的瓶颈 • 单点失效（SPOF）问题：
10.2HDFS文件系统 HDFS存储结构： ·以块(block)为基本单位存储文件 ·每个文件被划分成64MB大小的多个blocks,属 于同一个文件的blocks分散存储在不同DataNode 上； ·出于系统容错需要，每一个bock有多个副本 (replica),存储在不同的DataNode.上； ·每个DataNode.上的数据存储在本地的Linux文件 系统中。 Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 12 HDFS存储结构： • 以块（block）为基本单位存储文件 • 每个文件被划分成64MB大小的多个blocks，属 于同一个文件的blocks分散存储在不同DataNode 上； • 出于系统容错需要，每一个block有多个副本 （replica），存储在不同的DataNode上； • 每个DataNode上的数据存储在本地的Linux文件 系统中
10.2HDFS文件系统 HDFS存储结构优势： ·有利于大规模文件存储 ·适合数据备份 ·系统设计简化 Big Data Computing Technology,2017 Fall 13
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 13 HDFS存储结构优势： • 有利于大规模文件存储 • 适合数据备份 • 系统设计简化
10.2HDFS文件系统 HDFS命名空间管理： ·命名空间包括目录、文件和块 ·文件->block->节点的映射关系作为元数据存储 在Namenode上 ·整个HDFS集群只有一个命名空间，由唯一的一 个名称节点负责对命名空间进行管理 ·HDFS使用的是传统的分级文件体系 ·NameNode进程使用Fslmage和EditLog对命名空 间进行管理。 Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 14 HDFS命名空间管理： • 命名空间包括目录、文件和块 • 文件 -> block -> 节点的映射关系作为元数据存储 在Namenode上 • 整个HDFS集群只有一个命名空间，由唯一的一 个名称节点负责对命名空间进行管理 • HDFS使用的是传统的分级文件体系 • NameNode进程使用FsImage和EditLog对命名空 间进行管理
10.2HDFS文件系统 Fslmage: ·存储和管理内容： ·文件系统目录树 ·目录树中所有文件和文件夹的元数据 ·由名称节点进程把文件->block->节点映射关系 表装载并保留在内存中。 EditLog: ·是NameNode启动后对文件系统改动操作的记录 Big Data Computing Technology,2017 Fall 15
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 15 FsImage： • 存储和管理内容： • 文件系统目录树 • 目录树中所有文件和文件夹的元数据 • 由名称节点进程把文件 -> block -> 节点映射关系 表装载并保留在内存中。 EditLog： • 是NameNode启动后对文件系统改动操作的记录