10.2HDFS文件系统 第二名称节点： ·作用： ·保存名称节点对HDFS元数据信息的备份 ·减少名称节点重启的时间 ·一般独立部署在一台机器上 ·工作流程： ·Roll edits Retrieve Fslmage and edits from NameNode ·Merge Transfer checkpoint to NameNode 。Roll again: Big Data Computing Technology,2017 Fall 16
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 16 第二名称节点： • 作用： • 保存名称节点对HDFS元数据信息的备份 • 减少名称节点重启的时间 • 一般独立部署在一台机器上 • 工作流程： • Roll edits • Retrieve FsImage and edits from NameNode • Merge • Transfer checkpoint to NameNode • Roll again:
10.2HDFS文件系统 HDFS文件读写机制 ·主要访问方式： ·HDFS shellf命令 ·HDFS Java API Big Data Computing Technology,2017 Fall 1
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 17 HDFS文件读写机制 • 主要访问方式： • HDFS shell命令 • HDFS Java API
10.2HDFS文件系统 HDFS读文件流程（以JAVA为例) ·打开文件 上ope… Distributed 上blockoctions HDFS FileSystem NameNode ·获取块信息 dient 3.read 6:cose F50a怕 namenode ·读取请求 InputStream dlient JVM ·读取数据 client node 4:read 5￡1e3d ·读取下一个数据块 ·关闭文件 DataNode DataNode DataNode datanode datanode datanode Big Data Computing Technology,2017 Fall 18
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 18 HDFS读文件流程（以JAVA为例） • 打开文件 • 获取块信息 • 读取请求 • 读取数据 • 读取下一个数据块 • 关闭文件
10.2HDFS文件系统 HDFS写文件流程（以JAVA为例) ·创建文件 1:create Distributed 2:create ·建立文件元数据 HDFS NameNode FileSystem dient 3:write :complete ·写入请求 丘do园 FSData namenode OutputStream dient JVM ·写入数据包 dient node ·接收确认包 4:write packet 5:ack packet ·关闭文件 Pipeline of DataNode DataNode DataNode datanodes ·结束过程 5 datanode datanode datanode ·通知名称节点关闭文件 Big Data Computing Technology,2017 Fall 19
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 19 HDFS写文件流程（以JAVA为例） • 创建文件 • 建立文件元数据 • 写入请求 • 写入数据包 • 接收确认包 • 关闭文件 • 结束过程 • 通知名称节点关闭文件
10.2HDFS文件系统 HDFS数据容错与回复机制 ·多副本方式进行冗余存储 ·加快数据传输速度 ·容易检查数据错误 ·保证数据可用性 ·机架感知副本存放策略 ·改进数据的可靠性、可用性和网络宽带的利用率 ·防止某一机架失效时数据丢失 ·利用机架内的高带宽特性提高数据读取速度 ·错误检测和恢复机制 ·包括NameNode检测、DataNode检测和数据错误检测 Big Data Computing Technology,2017 Fall 20
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 20 HDFS数据容错与回复机制 • 多副本方式进行冗余存储 • 加快数据传输速度 • 容易检查数据错误 • 保证数据可用性 • 机架感知副本存放策略 • 改进数据的可靠性、可用性和网络宽带的利用率 • 防止某一机架失效时数据丢失 • 利用机架内的高带宽特性提高数据读取速度 • 错误检测和恢复机制 • 包括NameNode检测、DataNode检测和数据错误检测