Quartz 4

1. Introduction

10 min read

分布式并行基础

分布式并行框架介绍

核心背景与问题

随着人工智能技术发展，数据规模爆炸式增长、模型复杂度持续提高，传统单机训练模式难以应对，暴露出计算资源有限、训练速度慢、无法处理大规模数据等问题，严重制约了大模型的性能提升与应用拓展。

解决方案：分布式并行技术

分布式并行技术成为大模型训练的关键突破路径，其核心逻辑是：将大规模计算任务拆解为多个子任务，分配到多个计算节点并行处理，再通过高效通信与协调机制整合结果，实现整体任务的快速完成。这一技术能有效解决单机难以承载大模型庞大计算量（数据规模大、参数多）的难题。

训练耗时公式与优化方向

  • 训练耗时公式： 训练耗时 =（训练数据规模 × 单步计算量）÷ 计算速率 计算速率 = 单设备计算速率 × 设备数 × 多设备并行效率（加速比）

  • 关键结论： 在数据规模和单步计算量相对固定（数据固定、模型选型确定）的情况下，缩短训练耗时的核心在于提高计算速率，而计算速率的可控优化因素包括：

    1. 单设备计算速率：单设备计算速率主要由 Moore 定律、制成工艺、封装工艺等因素决定，这一部分相对固定，可通过混合精度、算子融合、梯度累加等方法优化；
    2. 设备数：因单机无法容纳大模型，需增加设备组成集群以提升速率；
    3. 多设备并行效率：引入集群后需解决效率问题，典型并行方式包括数据并行、模型并行、流水并行等（后续展开）。

硬件体系对分布式并行训练的支持

硬件体系是大模型分布式并行训练的基础支撑，主要体现在四个方面：

  • 硬件接口抽象：针对 GPU、TPU、NPU 等各类计算设备及 DSA（专用加速器），通过统一接口抽象实现编译优化策略的复用，使优化过程与底层设备、体系结构适度解耦，提升适配灵活性。
  • 可扩展网络：借助 RDMA、InifiBand、NVLink 等技术，实现计算设备（如 NPU）间的高效互联，提供更高带宽、更灵活的通信原语及高效通信聚合算法。
  • 集群硬件体系结构：负责集群的整体构建，涵盖存储、网络、程序执行、互联与加速等核心环节。
  • 作业调度和资源管理：在更宏观层面，对作业间的调度、运行期资源分配、环境隔离及异构资源集群管理等进行支持；通过将服务器资源池化，结合深度学习作业特点与异构硬件拓扑，利用高效调度器实现资源的优化调度。

大模型使能层（分布式训练框架）

在 AI 框架之上构建的使能层，核心聚焦于解决大模型分布式训练问题，主要功能包括：

  1. 支持 Transformer 类型结构大模型的部署与训练。
  2. 提供数据并行、模型并行、流水并行等分布式并行模式（即 PTT 多维并行）。
  3. 通过集合通信和参数服务器两种方式实现资源整合。

（注：对于推理场景，因对速度的追求，传统上较少采用分布式方式，但随着大模型规模扩大，分布式推理正逐渐成为必然趋势。）

加速库简介

随着模型的不断增大，并行已经成为一种在有限硬件资源上训练大型模型、提升训练速度的关键策略。HuggingFace 创建的加速库，能够帮助用户实现在单台机器的多个 GPU 或者多台机器的多个 GPU 上轻松训练 Transformers 模型。下面我们将对部分加速库进行总览介绍。

DeepSpeed

DeepSpeed 是微软开发的一款致力于提升大模型训练效率和可扩展性的优秀工具。其优势在于提供了多种强大的加速训练手段：

  1. 加速训练手段：DeepSpeed 涵盖数据并行（ZeRO 系列）、模型并行（PP）、梯度累积、动态缩放、混合精度等技术，高效加速模型训练，提升速度与效率，助理模型快速收敛；
  2. 辅助工具：提供分布式训练管理、内存优化和模型压缩等功能，全方位满足开发者需求，帮助开发者更好管理和优化大模型训练任务；
  3. 快速迁移：通过 Python Warp 方式基于 PyTorch 来构建，开发者可直接调用接口，轻松实现从单机到分布式环境的快速迁移，方便快捷。

DeepSpeed 广泛应用于大模型训练，其优势在预训练环节及与 HuggingFace Transformers 框架结合使用时尤为显著，但在其他场景下的应用相对有限。

Megatron-LM

Megatron-LM 是NVIDIA开发的利器，专注于提高大模型分布式并行训练效率和线性度：

  1. 加速训练手段：通过综合数据并行（Data Parallelism），张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism）来复现 GPT-3，有效提升大规模模型的训练效率，加快模型收敛速度；
  2. 辅助工具：配备了强大的数据处理和 Tokenizer 功能，能够高效地处理和转换数据，为基于 Transformer 结构的 LLM（大型语言模型）和 VLM（视觉语言模型）等大模型提供有力支持，确保模型可以准确理解和生成高质量的内容。

然而，Megatron-LM 的工程实现不够优雅，存在版本管理问题，实际使用中可能给用户带来不便。

Colossal-AI & BMTrain

Colossal-AI凭借多种优化策略高效提升训练效率并降低显存需求：

  1. 加速训练手段：其拥有更加丰富的张量并行策略，包括 1D/2D/2.5D/3D-TP 等，为大模型训练提供了多样化的并行计算方案，能够充分挖掘硬件的并行计算能力，加快训练速度；
  2. 丰富案例：Colossal-AI 还提供了 20+ 大模型 DEMO 和配置文件，这些资源融入了最新的 MOE（Mix of Experts）技术和 SORA（一种优化方法），为开发者提供了宝贵的实践参考和应用范例，助力快速上手和深入探索大模型训练。

BMTrain则专注于训练数百亿规模参数大模型：

  1. 模型支持：BMTrain 主要支持智源研究院 Aquila 系列的模型分布式并行框架，为该系列模型的高效训练和优化提供了强大的支持；
  2. 加速训练手段：支持对 DeepSpeed 中的并行策略进行深度优化，进一步提升了模型训练的效率和性能，使得大规模模型的训练更加高效、稳定。

总结：分布式加速库/分布式加速框架

分布式加速库和框架在大模型的训练与推理中扮演着至关重要的角色。它们不仅赋予了大模型多维分布式并行的能力，使其能够在 AI 集群上实现高效的训练和推理，更极大地提升了模型和算力的利用率，增强了 AI 集群的线性度。随着大模型的不断发展，分布式加速技术将继续发挥其关键作用，为人工智能领域带来更多突破和创新。

Graph View

Backlinks