Quartz 4

集群架构

8 min read

“南向互联”、“北向互联” 和 “对称内存” 是在 高性能计算（HPC）、AI 集群架构、服务器设计 中非常关键的概念，尤其在理解系统拓扑、通信路径和内存访问模式时至关重要。

下面我将用清晰、系统、形象化的方式为你逐一解释这三个术语，并说明它们之间的关系和应用场景。

一、南向互联（Southbound Interconnect）

✅ 定义：

“南向互联” 指的是 从中心计算单元（如 CPU）向“下方”外设或加速器的连接，即 CPU → 外部设备 的通信路径。

🧭 方向比喻：

  • 想象服务器架构像一座“金字塔”：
    • 顶层是 CPU（大脑）
    • 下层是各种设备（手脚、感官）
  • “南” = 向下，走向设备
  • “北” = 向上，走向网络或其他节点

🔧 常见南向互联技术：

技术用途
PCIe连接 GPU、NVMe SSD、网卡、FPGA
CXL连接内存扩展模块、智能网卡、加速器（支持缓存一致性）
DMI（Direct Media Interface）Intel 平台 CPU 与芯片组（PCH）之间的南向链路

🖼️ 示例架构：

深色版本

        +--------+
        |  CPU   |  ← 中心计算单元
        +---+----+
            | 🌟 南向互联（Southbound）
            |
    +-------v--------+     +-----------+     +-----------+
    | PCIe / CXL Bus |<--->| GPU       |     | NVMe SSD  |
    | (Switch 或直连)|<--->| SmartNIC  |     | CXL 内存  |
    +----------------+     +-----------+     +-----------+

✅ 南向 = 本地扩展：把更多设备接入 CPU，提升单节点能力。

二、北向互联（Northbound Interconnect）

✅ 定义：

“北向互联” 指的是 从本地节点（如服务器）向“上方”其他节点或网络的连接，即 本机 → 网络 → 其他服务器 的通信路径。

🧭 方向比喻：

  • “北” = 向上，走向网络、集群、云
  • 是系统“走出去”的通道

🔧 常见北向互联技术：

技术用途
Ethernet（以太网）通用数据中心网络，支持 RoCE、TCP/IP
InfiniBand（IB）高性能网络，用于 HPC 和 AI 集群
RoCE（RDMA over Converged Ethernet）在以太网上实现 RDMA，低延迟、高吞吐

🖼️ 示例架构：

深色版本

+-----------------------------+
|     本地服务器（Node）      |
|                             |
|  CPU → GPU (南向)           |
|        ↑                     |
|        | 北向互联（Northbound）|
|        ↓                     |
|  [NIC] → Ethernet/IB Switch → 其他服务器（Node 2, 3...） |
+-----------------------------+

✅ 北向 = 集群通信：用于分布式训练、MPI 通信、远程存储访问等。

🔄 南向 vs 北向：对比总结

维度南向互联（Southbound）北向互联（Northbound）
方向CPU → 外设（向下）本机 → 网络 → 其他节点（向上）
目标扩展本地资源（GPU、内存、存储）实现节点间通信（AllReduce、RPC）
典型技术PCIe, CXL, NVLinkEthernet, InfiniBand, RoCE
延迟极低（纳秒~微秒）低中（微秒毫秒）
带宽高（如 NVLink 900 GB/s）高（如 NDR IB 400 Gbps）
应用场景单节点内 GPU 通信多节点 AllReduce、分布式训练

三、对称内存（Symmetric Memory / Uniform Memory Access, UMA）

✅ 定义：

“对称内存” 指的是 系统中所有处理器或计算单元访问内存的延迟和带宽是相同的，即 内存访问是“均匀”的。

🧠 核心思想：

  • 无论哪个 CPU 核、GPU、加速器访问内存
  • 它们看到的内存性能（速度、延迟）都一样
  • 没有“本地内存”和“远程内存”的区别

🔁 对比：非对称内存（NUMA）

现实中更多是 NUMA（Non-Uniform Memory Access）：

深色版本

+------------+        +------------+
| CPU Socket 0 |------| CPU Socket 1 |
+------+-----+        +-----+------+
       | 内存 A             | 内存 B
       | (本地)             | (本地)
  • CPU0 访问 内存A：快（本地）
  • CPU0 访问 内存B：慢（需跨 QPI/UPI 总线）
  • → 内存访问“不对称”

✅ 对称内存如何实现？

要实现真正的对称内存，需要以下技术：

1. 内存池化（Memory Pooling）

  • 使用 CXL.mem 协议
  • 所有内存（本地 + 扩展）统一编址
  • CPU/GPU 通过 CXL Switch 访问，延迟接近本地

2. 缓存一致性（Cache Coherence）

  • 使用 CXL.cache 协议
  • 多个设备共享内存时，缓存状态自动同步
  • 避免数据不一致

3. NVLink + NVSwitch（GPU 间）

  • 在 DGX 服务器中，8 个 H100 GPU 通过 NVSwitch 互联
  • 每个 GPU 都可以：
    • 直接访问其他 GPU 的显存
    • 访问延迟和带宽几乎相同
  • → 实现 GPU 显存的“准对称”访问

✅ 所以在 AI 训练中，我们说 “NVSwitch 实现了 GPU 间的对称内存访问”。

🎯 对称内存的意义

场景优势
AI 训练所有 GPU 访问参数/梯度速度一致，避免“拖后腿”
数据库多核访问共享内存无性能差异
虚拟化虚拟机迁移后内存性能不变
实时系统可预测的内存延迟

🔗 三者关系图解

  • 南向：连接本地资源
  • 北向：连接外部世界
  • 对称内存：通过南向技术（CXL、NVLink）实现内存访问性能一致
    A[CPU] -->|南向互联| B[GPU]
    A -->|南向互联| C[NVMe SSD]
    A -->|南向互联| D[CXL 内存扩展]
    
    B -->|NVLink + NVSwitch| E[对称内存访问]
    D -->|CXL Switch| E
    
    A -->|北向互联| F[NIC]
    F -->|RoCE/IB| G[其他服务器]
    
    style E fill:#e0f7fa,stroke:#006064
    style F fill:#f9f,stroke:#333

✅ 总结：一句话记住

  • 南向互联：CPU 向下连 GPU、SSD、内存 → 扩展本地能力
  • 北向互联：服务器向上连网络 → 加入集群协作
  • 对称内存：所有计算单元访问内存“一样快” → 消除性能瓶颈

这三者共同构成了现代 AI 服务器和超算系统的互联基石。

如果你想了解 如何在 Kubernetes 或 AI 框架中利用这些特性，或者 CXL 如何实现对称内存池化，我可以继续深入讲解！欢迎继续提问 😊

Graph View

Backlinks