高能物理数据的存储和管理 汪璐 高能所计算中心 2020-8-24
高能物理数据的存储和管理 汪璐 高能所计算中心 2020-8-24
高能物理计算是数据密集型计算 ●对海量的实验和模拟数据进行重建处理、统计分析是验证理论模 型和发现新物理的主要途径 ●数据相关的T技术是高能物理计算绕不开的重要组成部分 ■ 数据发现 ■海量存储 ■/O性能优化 ■数据共享 ■ 数据长期保存 ●快速增长的数据量和分布式的计算环境给高能物理数据的存储和 管理提出了新的挑战 2022/8/24 高能物理暑期学校2020 2
高能物理计算是数据密集型计算 ⚫对海量的实验和模拟数据进行重建处理、统计分析是验证理论模 型和发现新物理的主要途径 ⚫数据相关的IT技术是高能物理计算绕不开的重要组成部分 ◼ 数据发现 ◼ 海量存储 ◼ I/O性能优化 ◼ 数据共享 ◼ 数据长期保存 ⚫快速增长的数据量和分布式的计算环境给高能物理数据的存储和 管理提出了新的挑战 2022/8/24 高能物理暑期学校2020 2
大纲 ●需求和挑战 ●高能所计算中心的海量存储系统 ■分布式文件系统 ■ 磁带管理系统，备份系统，软件存储系统，个人云存储… ■访问接口和使用建议 ●分布式环境下的数据管理技术 ●更详细的课程及课件 ●问题和反馈 2022/8/24 高能物理暑期学校2020 3
大纲 ⚫需求和挑战 ⚫高能所计算中心的海量存储系统 ◼ 分布式文件系统 ◼ 磁带管理系统，备份系统，软件存储系统,个人云存储 … ◼ 访问接口和使用建议 ⚫分布式环境下的数据管理技术 ⚫更详细的课程及课件 ⚫问题和反馈 2022/8/24 高能物理暑期学校2020 3
需求和挑战 2022/8/24 高能物理暑期学校2020
需求和挑战 2022/8/24 高能物理暑期学校2020 4
数据量的快速增长 ●BESIIVBEPCII ●空间天文实验 ■1PB/年 ■HXMT,AliCPT,GECAM ●LHC实验 ■HERD,eXTP(规划立项中) ■数百TB/年 ■50PB每年，传到高能所3-5PB/年 ●光源实验 ●中微子实验 ■HEPS,500TB/天 ■大亚湾：数百TB/年 ■数据保留半年，总量~100PB ■JUNO:2022年运行，预计3PB/ 年 ●宇宙线实验 ■LHAASO,目前3TB/天，2021年 起，预计6PB/年 2022/8/24 高能物理暑期学校2020 5
数据量的快速增长 ⚫BESIII/BEPCII ◼ ~1 PB/年 ⚫LHC实验 ◼ 50 PB每年，传到高能所3-5PB/年 ⚫中微子实验 ◼ 大亚湾：数百TB/年 ◼ JUNO：2022年运行，预计3PB/ 年 ⚫宇宙线实验 ◼ LHAASO，目前3 TB/天， 2021年 起，预计6PB/年 ⚫空间天文实验 ◼ HXMT，AliCPT， GECAM ◼ HERD，eXTP ( 规划立项中 ) ◼ 数百TB/年 ⚫光源实验 ◼ HEPS, 500TB/天 ◼ 数据保留半年，总量~100PB 2022/8/24 高能物理暑期学校2020 5