第六章、并行处理技术和多处理机 6.1概述 6.2并行处理技术的发展 6.3SIM并行处理机 6.4多处理机结构 6.5多处理机高速缓冲存储器( cache)一致性 6.6并行处理软件 6.5多处理机举例 本章重点书P25261~6.9
6.2 并行处理技术的发展 6.3 SIMD并行处理机 6.4 多处理机结构 6.5 多处理机高速缓冲存储器（cache）一致性 6.5 多处理机举例 第六章、并行处理技术和多处理机 6.1 概述 6.6 并行处理软件 本章重点书P252 6.1~6.9
6.1概迷 并行性概念 并行处理是一种有效的强调开发计算过程中并行事件的信息处 理方式 在数值计算,数据处理,知识处理或人工智能求解过程中,可 能存在某些能同时进行运算或操作的部分。 同时性( simultaneity):指两个或多个事件在同一时 刻发生在多个资源中 并发性( concurrency):指两个或多个事件在同一时 间间隔内发生在多个资源中 在同一时刻或同一时间间隔内完成多个性质相同 或不同的任务
一 并行性概念 并行处理是一种有效的强调开发计算过程中并行事件的信息处 理方式. 在数值计算，数据处理，知识处理或人工智能求解过程中，可 能存在某些能同时进行运算或操作的部分。 同时性（simultaneity）:指两个或多个事件在同一时 刻发生在多个资源中。 并发性（concurrency）:指两个或多个事件在同一时 间间隔内发生在多个资源中 6.1 概述 在同一时刻或同一时间间隔内完成多个性质相同 或不同的任务
并行的等级和分类 1.从计算机信息加工步骤和阶段看,并行性等级可分为: 存贮器操作并行—并行存贮器系统和以相联存贮器为核心 构成的相联处理机。 处理器操作步骤并行一可以是一条指令的取指、分析、执 行等操作步骤,也可以是具体运算。 处理器操作并行一为支持向量、数组运算,可以通过重复 设置处理单元进行,如并行处理机 指令、任务、作业并行—称为较高级并行,属于多指令流 多数据流计算机。 2.从系统结构发展看: 高性能的单处理机SIMD并行处理机,多处理机,多计算机系统 非冯诺依曼计算机(属于多处理机系统)
1．从计算机信息加工步骤和阶段看，并行性等级可分为： 存贮器操作并行----并行存贮器系统和以相联存贮器为核心 构成的相联处理机。 处理器操作步骤并行----可以是一条指令的取指、分析、执 行等操作步骤，也可以是具体运算。 处理器操作并行----为支持向量、数组运算，可以通过重复 设置处理单元进行，如并行处理机 指令、任务、作业并行----称为较高级并行，属于多指令流 多数据流计算机。 二. 并行的等级和分类 2. 从系统结构发展看: 高性能的单处理机,SIMD并行处理机,多处理机,多计算机系统 非冯.诺依曼计算机(属于多处理机系统)
3.程序划分和粒度 并行性的开发还可以按程序大小划分不同粒度的开发方式。 我们先来介绍两个概念: 颗粒规模( grain size)或粒度( granularity) 是衡量 软件进程所含计算量的尺度。测量方法是数一下颗粒(程序段 )中的指令数目。一般用细、中、粗来描述, 时延一(TC)是机器各子系统间通信开销的时间量度。如:存 贮时延是处理机访问存贮器所需时间;同步时延是两台处理机 互相同步所需的时间。 并行性粒度:每次并行处理的规模大小。用字母G表示 G=TW/TC TW:所有处理器进行计算的时间总和; TC:所有处理器进行通信的时间总和。(设系统共有P个处理 器) 当TC较大时,通信量大,则G较小处理粒度较细。反之对于 粗粒度的并行,通信量较小
并行性的开发还可以按程序大小划分不同粒度的开发方式。 我们先来介绍两个概念： 颗粒规模（grain size）或粒度（granularity）---- 是衡量 软件进程所含计算量的尺度。测量方法是数一下颗粒（程序段 ）中的指令数目。一般用细、中、粗来描述， 时延-（TC ）是机器各子系统间通信开销的时间量度。如：存 贮时延是处理机访问存贮器所需时间；同步时延是两台处理机 互相同步所需的时间。 3. 程序划分和粒度 并行性粒度：每次并行处理的规模大小。用字母G表示 G=TW/TC TW：所有处理器进行计算的时间总和； TC：所有处理器进行通信的时间总和。（设系统共有P个处理 器） 当TC较大时，通信量大，则G 较小处理粒度较细。反之对于 粗粒度的并行，通信量较小
级5 作业级(程序) 任务级(过程或程 粗粒度 级4序段) 中粒度 通信需求与 调度开销级3 子任务级(例行程 序,或子程序) 并行程度 级2 循环或递归循环 C细粒度 级1指令或语句 五种程序执行级别体现了不 现代计算机程序运行并行性级别 同的算法粒度规模以及通信和控 制要求的变化。级别越低,软件 进程的粒度越细。一般情况,程 序可在这些级别的组合状态下运 行
作业级（程序） 任务级（过程或程 序段） 子任务级（例行程 序，或子程序） 指令或语句 循环或递归循环 级5 级4 级3 级2 级1 通信需求与 调度开销 并行程度 粗粒度 中粒度 细粒度 现代计算机程序运行并行性级别 五种程序执行级别体现了不 同的算法粒度规模以及通信和控 制要求的变化。级别越低，软件 进程的粒度越细。一般情况，程 序可在这些级别的组合状态下运 行