7.3分布式共享存储器体系结构 存储器分布于各结点中,所有的结点通过 网络互连。访问可以是本地的,也可以是 远程的。 2021/22 计算机体系结构
7.3 分布式共享存储器体系结构 • 存储器分布于各结点中，所有的结点通过 网络互连。访问可以是本地的，也可以是 远程的。 2021/2/2 计算机体系结构 3
Limitations of Snooping Protocols ·总线的可扩放性收到一定限制 总线上能够连接的处理器数目有限 共享总线存在竞争使用问题 在由大量处理器构成的多处理器系统中,监听带宽是瓶颈 解决方案之一:片上互连网络→并行通信 多个处理器可并行访问共享的 ICache banks 允许片上多处理器包含有更多的处理器 可扩放性仍然受到限制 在非总线或环的网络上监听是比较困难的 必须将一致性相关信息广播到所有处理器,这是比较低效的 如何不用广播方式而保持 cache coherence 使用目录( directory)来记录每个 Cached块的状态 目录项说明了哪个私有 Cache包含了该块的副本 2021/22 计算机体系结构
Limitations of Snooping Protocols • 总线的可扩放性收到一定限制 – 总线上能够连接的处理器数目有限 – 共享总线存在竞争使用问题 – 在由大量处理器构成的多处理器系统中，监听带宽是瓶颈 • 解决方案之一：片上互连网络→并行通信 – 多个处理器可并行访问共享的Cache banks – 允许片上多处理器包含有更多的处理器 – 可扩放性仍然受到限制。 • 在非总线或环的网络上监听是比较困难的 – 必须将一致性相关信息广播到所有处理器，这是比较低效的 • 如何不采用广播方式而保持 cache coherence – 使用目录（directory)来记录每个 Cached 块的状态 – 目录项说明了哪个私有Cache包含了该块的副本 2021/2/2 计算机体系结构 4
解决 Cache-致性问题的关键 寻找替代监听协议的一致性协议。 ·目录协议 目录:用于记录共享块相关信息的数据结构 它记录着可以进入 Cache的每个数据块的访问 状态、该块在各个处理器的共享状态以及是否 參改过等信息。 对每个结点增加目录表后的分布式存储器 的系统结构 2021/22 计算机体系结构
解决Cache一致性问题的关键 • 寻找替代监听协议的一致性协议。 • 目录协议 – 目录：用于记录共享块相关信息的数据结构， 它记录着可以进入Cache的每个数据块的访问 状态、该块在各个处理器的共享状态以及是否 修改过等信息。 • 对每个结点增加目录表后的分布式存储器 的系统结构 2021/2/2 计算机体系结构 5
分布式共享存储结构 CPO CPU CPU2 CPU3 Cac he Cac he Cache Cac he 存储器 存储器 I/ 存储器 存储器 I/ 目录 目录 目录 目录 互连网络 目录 目录 目录 目录 存储器 [][mH[幽][做 CPU CPUS CPU6 Cache Cac he Cache Cac he 2021/22 计算机体系结构
互连网络 存储器 I/o 存储器 I/o 存储器 I/o 存储器 I/o CPU0 Cache CPU1 Cache CPU2 Cache CPU3 Cache 存储器 I/o 存储器 I/o 存储器 I/o 存储器 I/o CPU4 Cache CPU5 Cache CPU6 Cache CPU7 Cache 目 录 目 录 目 录 目 录 目 录 目 录 目 录 目 录 分布式共享存储结构 2021/2/2 计算机体系结构 6
Directory in a Chip Multiprocessor 目录在所有处理器共享的最外层 Cache中 目录记录了每个私有 Cache中块的相关信息 ·最外层 Cache分成若干个 banks,以便并行访问 Cache的 banks数可以与 cores的数量相同,也可以不同 Processor Processor Processor I Processor Processor Processor I Processor Processor Core o Core 1 Core 2 Core 3 Core 4 Core 5 Core 6 Core 7 Private Private Private Private Private Private Private Private Cache Cache 1 Cache 2 Cache 3 Cache 4 Cache 5 Cache 6 Cache 7 Interconnection Network (or Crossbar Switch) Shared Cache Bank o Shared Cache Bank 1 Shared Cache Bank 2 Shared Cache Bank 3 Directory o Directory 1 Directory 2 Directory 3 Memory Controller 0 Memory Controller 1 Memory Controller 2 Memory Controller 3 2021/22 计算机体系结构
Directory in a Chip Multiprocessor • 目录在所有处理器共享的最外层Cache中 – 目录记录了每个私有Cache中块的相关信息 • 最外层Cache分成若干个banks，以便并行访问 – Cache的banks数可以与cores的数量相同，也可以不同 2021/2/2 计算机体系结构 7