对存储系统的需求 >百PB存储容量，百GB/s聚合数据读写带宽 >横向扩展的VO性能 >高可用性 >高可靠性 ■原始数据不允许丢失，用户结果数据不允许丢失 ■元数据不允许丢失 >性价比 ■有限预算条件下，尽可能大的存储容量 ■尽可能大数据访问性能=>尽可能大的事例收处理速度 2022/8/24 高能物理暑期学校2020 6
对存储系统的需求 ➢ 百PB存储容量, 百GB/s 聚合数据读写带宽 ➢ 横向扩展的I/O性能 ➢ 高可用性 ➢ 高可靠性 ◼ 原始数据不允许丢失,用户结果数据不允许丢失 ◼ 元数据不允许丢失 ➢ 性价比 ◼ 有限预算条件下，尽可能大的存储容量 ◼ 尽可能大数据访问性能=>尽可能大的事例处理速度 2022/8/24 高能物理暑期学校2020 6
高能物理特色需求 >混合多样的应用类型和数据访问模式 ■模拟、刻度、重建、分析、机器学习 ■以后台作业大块读、一次写多次读为主混合前台交互型小文件读写、后台随机读写 >数据长期保存 ■数据一旦写入磁盘，很少删除 ■数据在数十年的实验周期内，可读、可分析 ■多种存储介质，分级管理 ●跨域数据统一视图，透明访问 2022/8/24 高能物理暑期学校2020
高能物理特色需求 ➢ 混合多样的应用类型和数据访问模式 ◼ 模拟、刻度、重建、分析、机器学习… ◼ 以后台作业大块读、一次写多次读为主, 混合前台交互型小文件读写、后台随机读写 ➢ 数据长期保存 ◼ 数据一旦写入磁盘，很少删除 ◼ 数据在数十年的实验周期内，可读、可分析 ◼ 多种存储介质，分级管理 ⚫ 跨域数据统一视图，透明访问 2022/8/24 高能物理暑期学校2020 7
高能所的海量存储系统 2022/8/24 高能物理暑期学校2020 8
高能所的海量存储系统 2022/8/24 高能物理暑期学校2020 8
高能所的海量存储系统 ●高能所计算中心是中国地区的高能物理数据处理中心 ■BESIII,JUNO,LHAASO等大型实验的Tier-0站点 ■LHC(ATLAS,CMS,LHCb)三个实验的Tier-2站点 ■2019年获批为全国唯一的高能物理科学数据管理中心 ●分布式文件系统为离线数据处理提供海量磁盘存储空间 ●磁带管理系统为冷数据提供绿色节能，高性价比的磁带存储空间 管理个人数据的云存储系统IHEPBOX,备份系统AMANDA,软件和 ●分 镜像管理系统CVMFS等 ●吸收CERN-T,WLCG等领域先进的存储系统建设经验和技术，完全 基于开源软件搭建的海量存储系统 2022/8/24 高能物理暑期学校2020 9
高能所的海量存储系统 ⚫高能所计算中心是中国地区的高能物理数据处理中心 ◼ BESIII, JUNO, LHAASO等大型实验的Tier-0 站点 ◼ LHC( ATLAS, CMS, LHCb) 三个实验的Tier-2 站点 ◼ 2019年获批为全国唯一的高能物理科学数据管理中心 ⚫分布式文件系统 为离线数据处理提供海量磁盘存储空间 ⚫磁带管理系统 为冷数据提供绿色节能，高性价比的磁带存储空间 ⚫管理个人数据的云存储系统 IHEPBOX，备份系统AMANDA，软件和 镜像管理系统CVMFS等 ⚫吸收CERN-IT， WLCG等领域先进的存储系统建设经验和技术，完全 基于开源软件搭建的海量存储系统 2022/8/24 高能物理暑期学校2020 9
分布式文件系统 ●分布式文件系统将数干盘磁盘，数百台服务器组成单一系统镜像 ■集群上所有计算节点和登录节点看到的是同一份视图，可以像访问单机 文件系统一样访问海量的存储资源 ■解决用户资源分配、访问控制、数据可靠性、服务高可用、分级存储等 问题 ●高能所主要的分布式文件系统： ■Lustre:实验数据和用户数据，20PB ■EOS:实验数据，10PB ■AFS:用户认证，home目录，百TB o/besfs,/junofs,/dybfs,/cefs,.../eos/lhaaso... 2022/8/24 高能物理暑期学校2020 10
分布式文件系统 ⚫分布式文件系统将数千盘磁盘，数百台服务器组成单一系统镜像 ◼ 集群上所有计算节点和登录节点看到的是同一份视图，可以像访问单机 文件系统一样访问海量的存储资源 ◼ 解决用户资源分配、访问控制、数据可靠性、服务高可用、分级存储等 问题 ⚫高能所主要的分布式文件系统： ◼ Lustre ：实验数据和用户数据，20 PB ◼ EOS：实验数据，10 PB ◼ AFS：用户认证，home目录，百TB ⚫/besfs, /junofs, /dybfs, /cefs, … /eos/lhaaso… 2022/8/24 高能物理暑期学校2020 10