目录 第8章数据中心网络及其体系结构 81数据中心与数据中心网络概述 81.1数据中心 812数据中心网络 813数据中心网络体系结构 2电交换数据中心网络架构 821以交换机为中心的DCN架构 822以服务器为中心的DCN架构 83光电混合交换数据中心网络架构 84光交换与光互连数据中心网络架构 841基于光电路交换的全光数据中心网络 842基于光分组交换的全光数据中心网络 84.3数据中心机架内光互连架构 5数据中心网络的路由技术 851数据中心的流量特征分析 852分布式路由机制 85.3集中式路由机制 86数据中心网络的传送技术 861TCP拥塞控制机制 862多租户场景的带宽分配算法 87软件定义数据中心网络 871软件定义网络 872软件定义数据中心网络
I 目 录 第 8 章 数据中心网络及其体系结构 8.1 数据中心与数据中心网络概述 8.1.1 数据中心 8.1.2 数据中心网络 8.1.3 数据中心网络体系结构 8.2 电交换数据中心网络架构 8.2.1 以交换机为中心的 DCN 架构 8.2.2 以服务器为中心的 DCN 架构 8.3 光电混合交换数据中心网络架构 8.4 光交换与光互连数据中心网络架构 8.4.1 基于光电路交换的全光数据中心网络 8.4.2 基于光分组交换的全光数据中心网络 8.4.3 数据中心机架内光互连架构 8.5 数据中心网络的路由技术 8.5.1 数据中心的流量特征分析 8.5.2 分布式路由机制 8.5.3 集中式路由机制 8.6 数据中心网络的传送技术 8.6.1 TCP 拥塞控制机制 8.6.2 多租户场景的带宽分配算法 8.7 软件定义数据中心网络 8.7.1 软件定义网络 8.7.2 软件定义数据中心网络
第8章数据中心网络及其体系结构 8.1数据中心与数据中心网络概述 81.1数据中心 数据中心( Data Center)是场地出租概念在互联网领域的延伸。它是人类在IT应用 推广模式方面的一大发明,标志着IT应用的规模化和组织。数据中心是企业存储数据 和集中处理数据的地方,同时也是企业和用户获取运行环境和信息服务的源泉。近年来 随着云计算技术不断发展和网络应用的迅速增加,数据中心的发展和建设也加快脚步。 不同规模的数据中心遍地开花,金融企业、政府机关、通信行业等不断扩展其原有的数 据中心,其它的各中小型企业也逐渐构建起自己的数据中心。目前,几乎所有大中型机 构都建立有自己的数据中心,全面管理本机构的IT系统。 数据中心是指一套复杂的设施,它不仅包括计算机系统和其它与之配套的设备,比 如通信和存储系统,还包括负责运维管理的监控、调度及安全机制。数据中心是一个巨 大的数据仓库,可以存储大量的数据供不同的组织机构访问以实现日常的事务处理需求。 从组织结构看,数据中心由不同的服务器集合与网络基础架构组成。其中服务器用于收 集数据,网络基础架构用于实现服务、使用存储或更新服务器的数据。用户可以通过网 络访问数据中心的服务器。 综上所述,数据中心是指在一个物理空间内实现信息的集中处理、存储、传输、交 换和管理。计算机、服务器、网络设备、存储设备等是数据中心核心机房的关键基础设 施,基础设施运行所需要的供电系统、制冷系统、机柜系统、消防系统、监控系统等环 境因素是数据中心的支排系统。 数据中心的出现可以追溯到上世纪60年代,当时数据中心绝大部分计算机是大型 机系统。这些大型机的主要器件以晶体管和电子管为主,占地面积大、价格十分昂贵 为了充分利用大型主机的资源,多个用户根据需求通过终端系统分时占用大型机系统的 资源。20世纪η0年代以后,随着大规模集成电路的快速发展,计算机价格迅速下降, 性能也飞速提升。发展到20世纪80年代,计算机向微型机的方向不断演进,只要购买 台廉价的个人计算机,即可完成很多计算任务。在这一阶段,计算机的发展由集中走 向分布,小型机房得到了快速的发展。进入90年代,客户端/服务器的计算模式得到了 广泛应用,用户安装客户端软件后,通过互联网或局域网与服务器相互配合完成计算任
1 第 8 章 数据中心网络及其体系结构 8.1 数据中心与数据中心网络概述 8.1.1 数据中心 数据中心（Data Center）是场地出租概念在互联网领域的延伸。它是人类在 IT 应用 推广模式方面的一大发明，标志着 IT 应用的规模化和组织。数据中心是企业存储数据 和集中处理数据的地方，同时也是企业和用户获取运行环境和信息服务的源泉。近年来 随着云计算技术不断发展和网络应用的迅速增加，数据中心的发展和建设也加快脚步。 不同规模的数据中心遍地开花，金融企业、政府机关、通信行业等不断扩展其原有的数 据中心，其它的各中小型企业也逐渐构建起自己的数据中心。目前，几乎所有大中型机 构都建立有自己的数据中心，全面管理本机构的 IT 系统。 数据中心是指一套复杂的设施，它不仅包括计算机系统和其它与之配套的设备，比 如通信和存储系统，还包括负责运维管理的监控、调度及安全机制。数据中心是一个巨 大的数据仓库，可以存储大量的数据供不同的组织机构访问以实现日常的事务处理需求。 从组织结构看，数据中心由不同的服务器集合与网络基础架构组成。其中服务器用于收 集数据，网络基础架构用于实现服务、使用存储或更新服务器的数据。用户可以通过网 络访问数据中心的服务器。 综上所述，数据中心是指在一个物理空间内实现信息的集中处理、存储、传输、交 换和管理。计算机、服务器、网络设备、存储设备等是数据中心核心机房的关键基础设 施，基础设施运行所需要的供电系统、制冷系统、机柜系统、消防系统、监控系统等环 境因素是数据中心的支撑系统。 数据中心的出现可以追溯到上世纪 60 年代，当时数据中心绝大部分计算机是大型 机系统。这些大型机的主要器件以晶体管和电子管为主，占地面积大、价格十分昂贵。 为了充分利用大型主机的资源，多个用户根据需求通过终端系统分时占用大型机系统的 资源。20 世纪 70 年代以后，随着大规模集成电路的快速发展，计算机价格迅速下降， 性能也飞速提升。发展到 20 世纪 80 年代，计算机向微型机的方向不断演进，只要购买 一台廉价的个人计算机，即可完成很多计算任务。在这一阶段，计算机的发展由集中走 向分布，小型机房得到了快速的发展。进入 90 年代，客户端/服务器的计算模式得到了 广泛应用，用户安装客户端软件后，通过互联网或局域网与服务器相互配合完成计算任
务。这种计算模式中,数据中心存放服务器、存储数据并提供计算服务。互联网将全球 的计算机整合在一起,使得数据中心的发展又从分布逐渐走向集中。自2006年谷歌提 出云计算概念后,微软、亚马逊、IBM、雅虎等公司不断地推进云计算技术发展,促使 了数据中心朝着密集计算、超大规模和集中存储的方向转变。包含大量分布式服务器和 交换机的数据中心是云计算的核心基础设施,得到了学术界和工业界的极大关注。 图81展示了数据中心示意图。一个完整的数据中心在其建筑之中,由支撑系统 基础设施和业务信息系统三个逻辑部分组成。支撑系统主要包括建筑、电力设备、环境 调节设备、照明设备和监控设备,这些设施是保证服务器和交换机等设备正常安全运转 的必要条件。基础设施主要包括服务器、存储和网络设备,这些设施用于支撑上层的业 务系统。业务信息系统是为企业或者公众提供特定信息服务的软件系统,信息服务的质 量依赖于底层服务器和网络设备的能力。只有整体统筹兼顾,才能保证数据中心的良好 运行,为用户提供高质量、可信赖的服务。 Internet IP Back 路由器 网络层 操作及管理层 防火墙 KvM系统 DS/PS 核心交换机 负载均衡 计算层 存储管理9 管理和辅助决策 电子健康档案 资产管理一 存储层 备份系统 磁盘阵列虚拟带库物理带库 图8.1数据中心示意图 当今飞速发展的信息服务和对IT系统的要求给数据中心带来了新的挑战。以往的 企业数据中心往往只简单追求计算力与性能,而当前的经济环境让企业更加注重数据中 心的成本,绿色、节能、低碳的概念逐渐深入人心。新一代绿色数据中心通过自动化的
2 务。这种计算模式中，数据中心存放服务器、存储数据并提供计算服务。互联网将全球 的计算机整合在一起，使得数据中心的发展又从分布逐渐走向集中。自 2006 年谷歌提 出云计算概念后，微软、亚马逊、IBM、雅虎等公司不断地推进云计算技术发展，促使 了数据中心朝着密集计算、超大规模和集中存储的方向转变。包含大量分布式服务器和 交换机的数据中心是云计算的核心基础设施，得到了学术界和工业界的极大关注。 图 8.1 展示了数据中心示意图。一个完整的数据中心在其建筑之中，由支撑系统、 基础设施和业务信息系统三个逻辑部分组成。支撑系统主要包括建筑、电力设备、环境 调节设备、照明设备和监控设备，这些设施是保证服务器和交换机等设备正常安全运转 的必要条件。基础设施主要包括服务器、存储和网络设备，这些设施用于支撑上层的业 务系统。业务信息系统是为企业或者公众提供特定信息服务的软件系统，信息服务的质 量依赖于底层服务器和网络设备的能力。只有整体统筹兼顾，才能保证数据中心的良好 运行，为用户提供高质量、可信赖的服务。 图 8.1 数据中心示意图 当今飞速发展的信息服务和对 IT 系统的要求给数据中心带来了新的挑战。以往的 企业数据中心往往只简单追求计算力与性能，而当前的经济环境让企业更加注重数据中 心的成本，绿色、节能、低碳的概念逐渐深入人心。新一代绿色数据中心通过自动化的
管理方式、虛拟化的资源整合方式,结合新的能源管理技术,解决数据中心日益突出的 管理复杂、能耗严重、成本增加及信息安全等方面的挑战,实现高效、节能、环保、易 于管理的数据中心。 互联网数据中心(IDC)为互联网内容提供商(ICP)、企业、媒体和各类网站提供 大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽等业务。IDC 是对入驻企业、商户或网站服务器群托管的场所;是各种模式电子商务赖以安全运作的 基础设施,也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理 的平台 数据中心不仅是一个网络概念,还是一个服务概念,它构成了网络基础资源的一部 分,提供了一种高端的数据传输服务和高速接入服务。数据中心提供给用户综合全面的 解决方案,为政府上网、企业上网、企业IT管理提供专业服务,使得企业和个人能够 迅速借助网络开展业务,把精力集中在其核心业务策划和网站建设上,而减少IT方面 的后顾之忧。IDC改变了以往互联网的运作和经营模式,使得参加互联网的每一方都能 专注其特长 互联网数据中心必须具备大规模的场地及机房设施,高速可靠的内外部网络环境, 系统化的监控支持手段等一系列条件的主机存放环境。基于这一环境,IDC对外提供依 托于互联网的一系列由主机托管到应用外包等不同层次的服务。数据中心不仅要提供快 速安全的网络,还提供对服务器监管、流量监控等网络管理方面的服务,而且要有高度 可靠的、安全的机房网络环境。 8.12数据中心网络 数据中心网络(DCN, Data center Network)是数据中心内互连大规樸服务器、 用于海量服务器数据传输与交换的网络 为了获得高系统集成度,传统的数据中心网络结构采用由交换机或路由器组成如图 82所示的三层网络结构,其主要由拥有计算服务节点的数据接入层、负责路由的汇聚 层和处于顶端的核心层组成。数据中心的核心层交换机组成树根,汇聚层是中间层,数 据接入层位于树的叶子位置。汇聚层作为服务器网关,可以增加防火墙、负载均衡和应 用加速等应用优化设备
3 管理方式、虚拟化的资源整合方式，结合新的能源管理技术，解决数据中心日益突出的 管理复杂、能耗严重、成本增加及信息安全等方面的挑战，实现高效、节能、环保、易 于管理的数据中心。 互联网数据中心（IDC）为互联网内容提供商（ICP）、企业、媒体和各类网站提供 大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽等业务。IDC 是对入驻企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的 基础设施，也是支持企业及其商业联盟（其分销商、供应商、客户等）实施价值链管理 的平台。 数据中心不仅是一个网络概念，还是一个服务概念，它构成了网络基础资源的一部 分，提供了一种高端的数据传输服务和高速接入服务。数据中心提供给用户综合全面的 解决方案，为政府上网、企业上网、企业 IT 管理提供专业服务，使得企业和个人能够 迅速借助网络开展业务，把精力集中在其核心业务策划和网站建设上，而减少 IT 方面 的后顾之忧。IDC 改变了以往互联网的运作和经营模式，使得参加互联网的每一方都能 专注其特长。 互联网数据中心必须具备大规模的场地及机房设施，高速可靠的内外部网络环境， 系统化的监控支持手段等一系列条件的主机存放环境。基于这一环境，IDC 对外提供依 托于互联网的一系列由主机托管到应用外包等不同层次的服务。数据中心不仅要提供快 速安全的网络，还提供对服务器监管、流量监控等网络管理方面的服务，而且要有高度 可靠的、安全的机房网络环境。 8.1.2 数据中心网络 数据中心网络（DCN，Data Center Network）是数据中心内互连大规模服务器、 用于海量服务器数据传输与交换的网络。 为了获得高系统集成度，传统的数据中心网络结构采用由交换机或路由器组成如图 8.2 所示的三层网络结构，其主要由拥有计算服务节点的数据接入层、负责路由的汇聚 层和处于顶端的核心层组成。数据中心的核心层交换机组成树根，汇聚层是中间层，数 据接入层位于树的叶子位置。汇聚层作为服务器网关，可以增加防火墙、负载均衡和应 用加速等应用优化设备
互联网 数据中心 核心层 汇聚层 数据接入层 图82数据中心的网络结构 传统数据中心网络的拓扑结构如图83所示。它是一个三层的树形拓扑结构,三层 分别是接入层、汇聚层与核心层。接入层采用廉价的以太网交换机与机架内的服务器相 连,由于通常放置于机架的顶端,接入层交换机也称为架顶交换机。汇聚层交换机是多 台接入层交换机的汇聚点,数据包的处理、安全策略与路由策略的部署主要在汇聚层完 成。核心层交换机通常不对数据进行处理,主要负责在各个汇聚设备之间、数据中心网 络与供应商网络之间提供高速的连接。 交换机 核心层 交换机 交换机 交换机 汇聚层 交换机 交换机 交换机 交换机 交换机 交换机接入层 服务器 交换机 电分组交换机 图83传统数据中心网络拓扑结构
4 图 8.2 数据中心的网络结构 传统数据中心网络的拓扑结构如图 8.3 所示。它是一个三层的树形拓扑结构，三层 分别是接入层、汇聚层与核心层。接入层采用廉价的以太网交换机与机架内的服务器相 连，由于通常放置于机架的顶端，接入层交换机也称为架顶交换机。汇聚层交换机是多 台接入层交换机的汇聚点，数据包的处理、安全策略与路由策略的部署主要在汇聚层完 成。核心层交换机通常不对数据进行处理，主要负责在各个汇聚设备之间、数据中心网 络与供应商网络之间提供高速的连接。 图 8.3 传统数据中心网络拓扑结构