并行计算机 口 从硬件角度讲，当前所有计算机都可以被认为是并行的 多功能单元、多执行单元、多硬件线程 Core Core LI D-cache L1 D cache L2 Cache L2 Cache IBM BG/Q Compute Chip Intel Xeon processor L3 Cache Main Memory 10 http://math.ecnu.edu.cn/~jypan
http://math.ecnu.edu.cn/~jypan 并行计算机 10 从硬件角度讲，当前所有计算机都可以被认为是并行的 多功能单元、多执行单元、多硬件线程 IBM BG/Q Compute Chip Intel Xeon processor
并行计算机 CRAY ￥OAKRIC OENE罪GY =3 Hev lett Pac card Ente rprise AMD Frontier,,处理器核芯：1,110,144个 ￥OAK RIDGE National Laboratory 神威太湖之光，处理器核芯：10,649,600个 神版 http://math.ecnu.edu.cn/~jypan
http://math.ecnu.edu.cn/~jypan 并行计算机 11 Frontier, 处理器核芯：1,110,144个 神威太湖之光, 处理器核芯：10,649,600个
华东师范大学数学科学学院 School of Mathematical Sciences,ECNU 并行计算机架构 ·共享内存系统 ·分布式内存系统 ·混合内存系统 http://math.ecnu.edu.cn/~ivpan
华东师范大学 数学科学学院 School of Mathematical Sciences, ECNU http://math.ecnu.edu.cn/~jypan ►共享内存系统 ►分布式内存系统 ►混合内存系统 并行计算机架构
并行计算机架构一共享内存 口共享内存系统 ●统一内存寻址：所有处理器以全局寻址的方式访问所有的内存空间。 对称多处理器机器(Symmetric Multi--processor,SMP,左图) CPU CPU CPU Memory Memory CPU CPU CPU CPU Memory Bus Interconnect CPU CPU CPU CPU Memory C CPU CPU CPU CPU Memory 非统一内存寻址：由多个物理上相连的SMP组成，每个SMP都可以访问 其它SMP的内存，但访问是有差别的（右图） 13 http://math.ecnu.edu.cn/~jypan
http://math.ecnu.edu.cn/~jypan 并行计算机架构 – 共享内存 13 共享内存系统 统一内存寻址：所有处理器以全局寻址的方式访问所有的内存空间。 对称多处理器机器（Symmetric Multi-processor，SMP，左图） 非统一内存寻址：由多个物理上相连的 SMP 组成，每个 SMP 都可以访问 其它 SMP 的内存，但访问是有差别的（右图）
并行计算机架构一共享内存 共享内存优点 (1)全局地址空间提供了一种用户友好的编程方式 (2)内存与CPU的物理连接使得任务之间的数据共享既快速又统一 共享内存缺点 内存和CPU之间缺少较好的可扩展性，过多CPU会大幅增加缓存 和内存管理的负担（几何级别） 14 http://math.ecnu.edu.cn/~ivpan
http://math.ecnu.edu.cn/~jypan 并行计算机架构 – 共享内存 14 共享内存优点 （1）全局地址空间提供了一种用户友好的编程方式 （2）内存与 CPU 的物理连接使得任务之间的数据共享既快速又统一 共享内存缺点 内存和 CPU 之间缺少较好的可扩展性，过多 CPU 会大幅增加缓存 和内存管理的负担（几何级别）