7.1.5并行处理面临的挑战 并行处理面临着两个重要的挑战: 程序中有限的并行性 ●相对较高的通信开销 可通过 Amah定律解释) 1.有限的并行性使机器要达到好的加速比十分困难
7.1.5 并行处理面临的挑战 并行处理面临着两个重要的挑战： （可通过Amdahl定律解释） 1. 有限的并行性使机器要达到好的加速比十分困难。 • 程序中有限的并行性 • 相对较高的通信开销
例71如果想用100个处理器达到80的加速比, 求原计算程序中串行部分所占比例。 解 Adah定律为 加速比 可加速部分比例 理论加速比+(1—可加速部分比例) 80= 并行比例 (1-并行比例) 100 得出:并行比例=0.9975 可以看出要用100个处理器达到80的加速比,串行 计算的部分只能占0.25%
例7.1 如果想用100个处理器达到80的加速比， 求原计算程序中串行部分所占比例。 解 Amdahl定律为 加速比＝ 得出：并行比例＝0.9975 可以看出要用100个处理器达到80的加速比，串行 计算的部分只能占0.25%。 1 可加速部分比例 理论加速比 ＋（1－可加速部分比例） 80＝ 1 并行比例 100 ＋（1－并行比例）
2.面临的第二个挑战主要是指多处理机中远程访 问的较大延迟。 在现有的机器中,处理器之间的数据通信 大约需要50~10000个时钟周期
2. 面临的第二个挑战主要是指多处理机中远程访 问的较大延迟。 在现有的机器中，处理器之间的数据通信 大约需要50～10000个时钟周期
远程访问一个字的延迟时间 机器 通信机制 互连网络 处理机数量典型远程存储 器访问时间 SPARC Center 共享存储器 总线 ≤20 lp SGI Challenge 共享存储器 总线 lp Cray T3D 共享存储器 3维环网 32-2048 Convex Exempla 共享存储器 交叉开关+环 864 KSR-1 共享存储器多层次环 32-256 2-6us CM-5 消息传递 胖树 32-1024 Intel paragon 消息传递 2维网格 32-2048 IBM SP-2 消息传递 多级开关 2-512 30-100μs
机 器 通信机制 互连网络 处理机数量 典型远程存储 器访问时间 SPARC Center 共享存储器 总线 ≤20 1μs SGI Challenge 共享存储器 总线 ≤36 1μs Cray T3D 共享存储器 3维环网 32－2048 1μs Convex Exemplar 共享存储器 交叉开关＋环 8－64 2μs KSR-1 共享存储器 多层次环 32－256 2-6μs CM-5 消息传递 胖树 32－1024 10μs Intel Paragon 消息传递 2维网格 32－2048 10-30μs IBM SP-2 消息传递 多级开关 2－512 30-100μs 远程访问一个字的延迟时间
讲算系狗 例72一台32个处理器的计算机,对远程存储 器访问时间为2000ns。除了通信以外,假设计算中的 访问均命中局部存储器。当发出一个远程请求时,本 条处理器挂起。处理器时钟时间为10ns,如果指令基本 的cP为10(设所有访存均命中 Cache),求在没有远 程 访问的状态下与有05%的指令需要远程访问的状态下 前者比后者快多少? 解有0.5%远程访问的机器的实际CP为 cPI=基本cPI+远程访问率x远程访问开销 10+0.5%X远程访问开销
例7.2 一台32个处理器的计算机，对远程存储 器访问时间为2000ns。除了通信以外，假设计算中的 访问均命中局部存储器。当发出一个远程请求时，本 处理器挂起。处理器时钟时间为10ns，如果指令基本 的CPI为1.0(设所有访存均命中Cache)，求在没有远 程 访问的状态下与有0.5%的指令需要远程访问的状态下， 前者比后者快多少? 解 有0.5%远程访问的机器的实际CPI CPI＝基本CPI＋远程访问率×远程访问开销 ＝1.0＋0.5%×远程访问开销