10.1 Hadoop总体架构 数据存储系统 ·组成： ·分布式文件系统HDFS(Hadoop Distributed File System) ·分布式非关系型数据库Hbase ·数据仓库及数据分析工具Hive和Pig ·用于数据采集、转移和汇总的工具Sqoop和Flume。 ·HDFS文件系统构成了Hadoop数据存储体系的基 础 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 6 数据存储系统 • 组成： • 分布式文件系统HDFS（Hadoop Distributed File System） • 分布式非关系型数据库Hbase • 数据仓库及数据分析工具Hive和Pig • 用于数据采集、转移和汇总的工具Sqoop和Flume。 • HDFS文件系统构成了Hadoop数据存储体系的基 础
10.1 Hadoop总体架构 管理调度系统： ·Zookeeper:提供分布式协调服务管理 ·Oozie:负责作业调度 ·Ambari:提供集群配置、管理和监控功能 ·Chukwa:大型集群监控系统 ·YARN:集群资源调度管理系统 Big Data Computing Technology,2017 Fall
10.1 Hadoop总体架构 Big Data Computing Technology, 2017 Fall 7 管理调度系统： • Zookeeper：提供分布式协调服务管理 • Oozie：负责作业调度 • Ambari：提供集群配置、管理和监控功能 • Chukwa：大型集群监控系统 • YARN：集群资源调度管理系统
10.2HDFS文件系统 分布式文件系统： ·结构： ·物理存储资源和对象分散存储在通过网络相连的远程节点上 主控服务器（也称元数据服务器）：负责管理命名空间和文件 目录， ·远程数据服务器（也称存储服务器）节点：存储实际文件数据 ·特点 ·透明性 ·高可用性 ·支持并发访问 ·可扩展性 ·安全性 Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 8 分布式文件系统： • 结构： • 物理存储资源和对象分散存储在通过网络相连的远程节点上 • 主控服务器（也称元数据服务器）：负责管理命名空间和文件 目录， • 远程数据服务器（也称存储服务器）节点：存储实际文件数据 • 特点 • 透明性 • 高可用性 • 支持并发访问 • 可扩展性 • 安全性
10.2HDFS文件系统 分布式文件系统： 檄理行储资源和对象分散存储在通过网络州连的远程节 接释备翼，（也称元数据服务器）：负责管理命名空间 ·远程数据服务器（也称存储服务器）节点：存储实际文 件薮籍 ·特点 ·透明性 ·高可用性 ·支持并发访问 ·可扩展性 ·安全性 Big Data Computing Technology,2017 Fall
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 9 分布式文件系统： • 物理存储资源和对象分散存储在通过网络相连的远程节 点上 • 主控服务器（也称元数据服务器）：负责管理命名空间 和文件目录， • 远程数据服务器（也称存储服务器）节点：存储实际文 件数据 • 特点 • 透明性 • 高可用性 • 支持并发访问 • 可扩展性 • 安全性
10.2HDFS文件系统 HDFS体系结构： ·唯一主节点：运行NameNode,JobTracker, Zookeeper,Hmaster等负责集群管理、资源配 置、作业调度的程序 ·多个从节点(dataNode):承担数据存储及计 算任务。 ·客户端(Client):用于支持客户操作HDFS Big Data Computing Technology,2017 Fall 10
10.2 HDFS文件系统 Big Data Computing Technology, 2017 Fall 10 HDFS体系结构： • 唯一主节点：运行NameNode，JobTracker， Zookeeper，Hmaster等负责集群管理、资源配 置、作业调度的程序 • 多个从节点（dataNode）：承担数据存储及计 算任务。 • 客户端（Client）：用于支持客户操作HDFS