、并行编程基础知识 二、MP|编程实例演示 三、MP|程序分析及编程入门 提纲 四、 Python并发编程方式 五、行计算优化 六、CPU/GPU/TPU概述
六、CPU/GPU/TPU概述 一、并行编程基础知识 五、行计算优化 四、Python并发编程方式 三、MPI程序分析及编程入门 二、MPI编程实例演示 提 纲
、并行编程基础知识 并行计算机组成部分 节点(node): 每个节点由多个处理器构成,可以直接输入输出 互联网络( interconnect network) 所有节点通过互联网络相互连接通信。 内存( memor y): 内存由多个存储模块组成,这些模块或者与节点对称 地分布在互联网络的两侧,或者位于各个节点的内部
一、并行编程基础知识 ➢ 节点（node）： – 每个节点由多个处理器构成，可以直接输入输出 ➢ 互联网络（interconnect network）： – 所有节点通过互联网络相互连接通信。 ➢ 内存 （memory）： – 内存由多个存储模块组成，这些模块或者与节点对称 地分布在互联网络的两侧，或者位于各个节点的内部 并行计算机组成部分
、并行编程基础知识 并行计算机体系结构 节点0 节点n 节点0 节点n cPu1 CPU CPUO CPU1 CPU CPUO CPU1 cache cache cache「 cache cache cache hub hub hubhmem hubhmem router router router router 互联网络 互联网络 mem memmel ··|mem 内存模块位于节点内部 内存模块与节点分离
内存模块位于节点内部 并行计算机体系结构 内存模块与节点分离 一、并行编程基础知识
、并行编程基础知识 图例 Erthnet IB链路56Gbps= 接入交换机 运维管理1 Internet 监控屏 科研用户2 校园网 R201管理办公室 用户3 管理节点 P管理网络 胖节点 胖节点 un] QImiHlmLi B存储网络 计算节点106个(华为cH21V3) 并行存储( Huawei Ocean Stor9000 CPU: Intel Xeon E52600V312 cores cpu主频:25GHz内存:64GB) 节点:N+M8+2),裸容量:1402TB 西北农林科技大学高性能计算校级平台系统架构图
一、并行编程基础知识
、并行编程基础知识 两个重要概念:进程与线程 ◆程序:实现特定目标或解决特定问题而用计算机语言编写的命令序列 的集合,或者称之为:算法+数据结构。 ◆进程:可并发执行的程序在一个数据集合上的运行过程。 进程是程序的一次执行; 进程可以是和别的计算并发执行的计算; 进程可以定义为一个数据结构及其能在其上进行操作的一个程序 进程是一个程序及其数据在处理机上顺序执行时所发生的活动; 进程是程序在一个数据集合上的运行过程,是系统进行资源分配和调 度的独立单位。 ◆线程:线程是进程中的一个实体,是被系统独立调度和分派的基本单 位。线程自己基本不拥有系统资源,只拥有一点在运行中必不可少的 资源(如程序计数器、一组寄存器和堆栈),但他与同属于一个进程 中的其他线程共享进程所拥有的全部资源
一、并行编程基础知识 ◆ 程序：实现特定目标或解决特定问题而用计算机语言编写的命令序列 的集合，或者称之为：算法+数据结构。 ◆ 进程：可并发执行的程序在一个数据集合上的运行过程。 ➢ 进程是程序的一次执行； ➢ 进程可以是和别的计算并发执行的计算； ➢ 进程可以定义为一个数据结构及其能在其上进行操作的一个程序； ➢ 进程是一个程序及其数据在处理机上顺序执行时所发生的活动； ➢ 进程是程序在一个数据集合上的运行过程，是系统进行资源分配和调 度的独立单位。 ◆ 线程：线程是进程中的一个实体，是被系统独立调度和分派的基本单 位。线程自己基本不拥有系统资源，只拥有一点在运行中必不可少的 资源（如程序计数器、一组寄存器和堆栈），但他与同属于一个进程 中的其他线程共享进程所拥有的全部资源。 两个重要概念：进程与线程