南京大学：《并行处理技术——分布式与并行计算 Distributed and Parallel computing（并行计算——结构、算法、编程）》课程教学资源（课件讲稿）第三章 并行计算硬件结构基础（并行计算性能评测）

并行开销的表达式：点到点通信 *通信开销t(m)=t。+mr *通信启动时间t。 *渐近带宽「，：传送无限长的消息时的通信速率 *半峰值长度m2：达到一半渐近带宽所要的消息长度 *特定性能兀。：表示短消息带宽 t。=mh/ro=1/mo 7 2011/9/13

 通信开销 t(m) = t0 + m/ r∞  通信启动时间 t0  渐近带宽r∞ ：传送无限长的消息时的通信速率  半峰值长度m1/2：达到一半渐近带宽所要的消息长度  特定性能π0：表示短消息带宽 t0 = m1/2 /r∞ = 1 /π0 7 2011/9/13 并行开销的表达式：点到点通信

并行开销的表达式：整体通信 典型的整体通信有： *广播(Broadcasting):处理器0发送m个字节给所有的n 个处理器 *收集(Gather):处理o接收所有n个处理器发来在消息， 所以处理器0最终接收了mn个字节； *散射(Scatter):处理器o发送了m个字节的不同消息给 所有n个处理器，因此处理器o最终发送了mn个字节； *全交换(Total Exchange)：每个处理器均彼此相互发送m 个字节的不同消息给对方，所以总通信量为m2个字节； 米 循环移位(Circular--shift):处理器i发送m个字节给处理器 i+1,处理器-1发送m个字节给处理器0，所以通信量为mn 个字节。 2011/9/13

 典型的整体通信有：  广播（Broadcasting）：处理器0发送m个字节给所有的n 个处理器  收集（Gather）：处理0接收所有n个处理器发来在消息， 所以处理器0最终接收了m n个字节；  散射（Scatter）：处理器0发送了m个字节的不同消息给 所有n个处理器，因此处理器0最终发送了m n个字节；  全交换（Total Exchange）：每个处理器均彼此相互发送m 个字节的不同消息给对方，所以总通信量为mn2个字节；  循环移位（Circular‐shift）：处理器i发送m个字节给处理器 i+1，处理器n‐1发送m个字节给处理器0，所以通信量为m n 个字节。 8 2011/9/13 并行开销的表达式：整体通信

机器的成本、价格与性/价比 *机器的成本与价格 *机器的性能/价格比Performance/Cost Ratio:系指用单 位代价（通常以百万美元表示）所获取的性能（通常以 MIPS或MFLOPS表示) *利用率(Utilization):可达到的速度与峰值速度之比 9 2011/9/13

 机器的成本与价格  机器的性能/价格比 Performance/Cost Ratio ：系指用单 位代价（通常以百万美元表示）所获取的性能（通常以 MIPS或MFLOPS表示）  利用率（Utilization）：可达到的速度与峰值速度之比 9 2011/9/13 机器的成本、价格与性/价比

算法级性能评测 加速比性能定律 * 并行系统的加速比是指对于一个给定的应用，并行算 法（或并行程序）的执行速度相对于串行算法（或串 行程序)的执行速度加快了多少倍。 *Amdahl定律（适用于固定计算负载) *Gustafson定律（适用于可扩放问题） *Sun Ni定律（受限于存储器） *可扩放性评测标准 *等效率度量标准 *等速度度量标准 *平均延迟度量标准 10 2011/9/13

 加速比性能定律  并行系统的加速比是指对于一个给定的应用，并行算 法（或并行程序）的执行速度相对于串行算法（或串 行程序）的执行速度加快了多少倍。  Amdahl 定律（适用于固定计算负载）  Gustafson定律（适用于可扩放问题）  Sun Ni定律（受限于存储器）  可扩放性评测标准  等效率度量标准  等速度度量标准  平均延迟度量标准 10 2011/9/13 算法级性能评测

Amdahl定律 P:处理器数) *W:问题规模（计算负载、工作负载，给定问题的总计算量)； *W,:应用程序中的串行分量，f是串行分量比例(f=WW, W=W); *W。:应用程序中可并行化部分，1f为并行分量比例； *Ws+W。=W; *T=T,:串行执行时间，T。:并行执行时间； *S:加速比，E:效率； *出发点： *固定不变的计算负载； *固定的计算负载分布在多个处理器上的， *增加处理器加快执行速度，从而达到了加速的目的。 11 2011/9/13

 P：处理器数；  W：问题规模（计算负载、工作负载，给定问题的总计算量）；  Ws：应用程序中的串行分量，f是串行分量比例（f = Ws/W， Ws=W1）；  WP：应用程序中可并行化部分，1‐f为并行分量比例；  Ws +W p =W；  Ts=T1：串行执行时间，T p：并行执行时间；  S：加速比，E：效率；  出发点：  固定不变的计算负载；  固定的计算负载分布在多个处理器上的，  增加处理器加快执行速度，从而达到了加速的目的。 11 2011/9/13 Amdahl 定律