《并行计算：Parallel Computing.》 结构编程算法应用 §2.1并行计算机系统结构模型 (第二部分) 徐悦牲Yueshen Xu) ysxu@xidian.edu.cn 软件工程系 西安电子科技大学
§2.1 并行计算机系统结构模型 （第二部分） 徐悦甡(Yueshen Xu) ysxu@xidian.edu.cn 软件工程系 西安电子科技大学 《并行计算：Parallel Computing》 结构 编程 算法 应用
本节提纲 历些毛子科枚大》 XIDIAN UNIVERSITY ▣并行计算机访存模型 ■均匀存储访问与非均匀存储访问 ■高速缓存存储访问 从存储器的角度 ■非远程存储访问模型等 ■体系结构与访存模型的关系 ▣并行计算机性能测评 ■并行计算机的基本性能指标 讨论一部分 ■加速比性能测评 ■可扩展性性能测评
并行计算机访存模型 均匀存储访问与非均匀存储访问 高速缓存存储访问 非远程存储访问模型等 体系结构与访存模型的关系 本节提纲 从存储器的角度 并行计算机性能测评 并行计算机的基本性能指标 加速比性能测评 可扩展性性能测评 讨论一部分 2
上节课回顾 历粤毛子种枝大等 XIDIAN UNIVERSITY →并行计算机体系结构模型汇总 ▣各实现形式比对 P/C P/C MB P/C P/C 交叉开关 总线或交叉开关 LM NIC NIC SM SM SM SM SM I/O PVP SMP 定制网络 MB MB P/C P/O MB MB MPP P/C P/C LM M M Bridge DIR DIR Bridge OB 定制网络 商品网络（以太网，ATM,etc.) DSM Cow
上节课回顾 并行计算机体系结构模型汇总 VP SM 交叉开关 PVP VP VP SM SM P/C SM SM I/O 总线或交叉开关 SMP P/C P/C P/C LM NIC 定制网络 MPP P/C LM NIC MB MB P/C LM NIC DIR MB 定制网络 DSM P/C LM NIC DIR MB LD P/C M MB IOB COW LD P/C M MB IOB 商品网络(以太网，ATM，etc.) Bridge NIC NIC Bridge 各实现形式比对 5
并行计算机体系结构汇总 历些莞子种拔大多 XIDIAN UNIVERSITY ▣各并行计算机结构特性（比较） 属性 SIMD PVP SMP MPP DSM COW 同构性 SIMD MIMD MIMD MIMD MIMD MIMD 同步性 指令级 异步 异步 异步 异步 异步 同步 或弱同步 或弱同步 或弱同步 或弱同步 或弱同步 通信机制 数据并行 共享变量 共享变量 消息传递 共享变量 消息传递 地址空间 单空间 单空间 单空间 多空间 单空间 多空间 访存模型 UMA UMA UMA NORMA NUMA NORMA 互连网络 定制 交叉开关 总线或 交叉开关 定制 定制 商用 6
并行计算机体系结构汇总 属性 SIMD PVP SMP MPP DSM COW 同构性 SIMD MIMD MIMD MIMD MIMD MIMD 同步性 指令级 同步 异步 或弱同步 异步 或弱同步 异步 或弱同步 异步 或弱同步 异步 或弱同步 通信机制 数据并行 共享变量 共享变量 消息传递 共享变量 消息传递 地址空间 单空间 单空间 单空间 多空间 单空间 多空间 访存模型 UMA UMA UMA NORMA NUMA NORMA 互连网络 定制 交叉开关 总线或 交叉开关 定制 定制 商用 各并行计算机结构特性（比较） 6
并行计算机访存模型 历些毛子种枝大学 XIDIAN UNIVERSITY Vs.体系结构 口常见的并行计算机访存模型 UMA (Uniform Memory Access), 均匀存储访问模型 NUMA(Non-uniform Memory Access), 非均匀存储访问模型 五种常见 COMA(Cache-Only Memory Access), 的并行计 结构越来 全高速缓存存储访问 算机访存 越复杂 模型 CC-NUMA (Coherent-Cache Non- uniform Memory Access), 高速缓存一致性非均匀存储访问 NORMA (No-Remote Memory Access),非远程存储访问
并行计算机访存模型 常见的并行计算机访存模型 vs. 体系结构 五种常见 的并行计 算机访存 模型 UMA（Uniform Memory Access）， 均匀存储访问模型 CC-NUMA（Coherent-Cache Nonuniform Memory Access）， 高速缓存一致性非均匀存储访问 NUMA(Non-uniform Memory Access)， 非均匀存储访问模型 COMA(Cache-Only Memory Access)， 全高速缓存存储访问 NORMA（No-Remote Memory Access），非远程存储访问 结构越来 越复杂 7