并行计算机架构一分布式内存 ▣分布式内存系统 ● 处理器会有各自所对应的内存，不存在全局内存地址空间 ●数据交换：通过网络传输完成/通讯 CPU Memory CPU Memory network CPU Memory CPU Memory 优点：扩展性好；访问自身数据速度快；维护成本低 缺点：（1)编程复杂；(2)访问其他结点上的数据需要长得多的时间 15 http://math.ecnu.edu.cn/~jypan
http://math.ecnu.edu.cn/~jypan 并行计算机架构 – 分布式内存 15 分布式内存系统 处理器会有各自所对应的内存，不存在全局内存地址空间 数据交换：通过网络传输完成/通讯 优点：扩展性好；访问自身数据速度快；维护成本低 缺点：（1）编程复杂；（2）访问其他结点上的数据需要长得多的时间
并行计算机架构一混合内存 口分布式-共享内存混合系统 CPUCPU CPUCPU GPU CPU GPU CPU Memory Memory Memory Memory CPU CPU CPU CPU GPU CPU GPU CPU network network CPU CPU CPUCPU GPU CPU Memory Memory Memory CPU CPU CPUCPU Memory GPUCPU 继承了共享内存和分布式内存的优缺点 是当前的主流模式，扩展性强，但编程复杂 MPP(Massively Parallel Processing) 每个节点相对独立，有一个或多个处理器，有自己的操作系统和独立内存， 避免内存访问瓶颈，各个节点只能访问自己的内存模块，扩展性较好。 16 http://math.ecnu.edu.cn/~jvpan
http://math.ecnu.edu.cn/~jypan 并行计算机架构 – 混合内存 16 分布式 --- 共享内存 混合系统 继承了共享内存和分布式内存的优缺点 是当前的主流模式，扩展性强，但编程复杂 MPP (Massively Parallel Processing) 每个节点相对独立，有一个或多个处理器，有自己的操作系统和独立内存， 避免内存访问瓶颈，各个节点只能访问自己的内存模块，扩展性较好
华东师范大学数学科学学院 School of Mathematical Sciences,ECNU 并行计算机发展 ·国际并行计算机发展介绍 ·我国并行计算机发展介绍 ·当前世界超级计算机情况 http://math.ecnu.edu.cn/~jypan
华东师范大学 数学科学学院 School of Mathematical Sciences, ECNU http://math.ecnu.edu.cn/~jypan ►国际并行计算机发展介绍 ►我国并行计算机发展介绍 ►当前世界超级计算机情况 并行计算机发展
第一台计算机 口1946年，世界上第一台计算机ENIAC诞生 Electronic Numerical Integrator And Computer 电子数值积分计算机，美国宾夕法尼亚大学 程序或数据， 主机程序或结果 主存储器 数 输入设备 控制器 输出设备 运算器 冯诺依曼 现代计算机之父 -、GP 数学博士 冯·诺依曼结构计算机 占地约170平方米，重约30吨，耗电150千瓦 ·运算速度：5000次加法秒或500次乘法/秒，15分钟换一个零件（真空管） ·用途：弹道计算和氢弹研制 18 http://math.ecnu.edu.cn/~jypan
http://math.ecnu.edu.cn/~jypan 第一台计算机 18 1946 年，世界上第一台计算机 ENIAC 诞生 Electronic Numerical Integrator And Computer 电子数值积分计算机，美国宾夕法尼亚大学 冯·诺依曼 现代计算机之父 数学博士 ► 占地约 170 平方米， 重约 30 吨，耗电150千瓦 ► 运算速度：5000 次加法/秒或 500 次乘法/秒，15分钟换一个零件（真空管） ► 用途：弹道计算和氢弹研制
第一台并行计算机 ▣1972年，第一台并行计算机ILLIAC IV(美国伊利诺依大学) ·1960年代末开始建造，1972年建成 ·1974年运行第一个完整程序，1976年运行第一个应用程序 P 64个处理器，公认的1981年前最快，1982年退役 ·可扩展性好，但可编程性差 19 http://math.ecnu.edu.cn/~jypan
http://math.ecnu.edu.cn/~jypan 第一台并行计算机 19 1972 年，第一台并行计算机 ILLIAC IV（美国伊利诺依大学） ► 1960 年代末开始建造，1972 年建成 ► 1974 年运行第一个完整程序, 1976年运行第一个应用程序 ► 64 个处理器，公认的 1981 年前最快，1982 年退役 ► 可扩展性好，但可编程性差