分布式并行基础
分布式训练可以将模型训练任务分配到多个计算节点上,从而加速训练过程并处理更大的数据集。模型是一个有机的整体，简单增加机器数量并不能提升算力，需要有并行策略和通信设计，才能实现高效的并行训练。本节将会重点打开业界主流的分布式并行框架 DeepSpeed、Megatron-LM 的核心多维并行的特性来进行原理介绍。
内容大纲
| 大纲 | 小节 | 链接 |
|---|---|---|
| 分布式并行 | 01 分布式并行框架介绍 | PPT, 视频 |
| 分布式并行 | 02 DeepSpeed 介绍 | PPT, 视频 |
| 分布式并行 | 03 优化器并行 ZeRO1/2/3 原理 | PPT, 视频 |
| 分布式并行 | 04 Megatron-LM 代码概览 | PPT, 视频 |
| 分布式并行 | 05 大模型并行与 GPU 集群配置 | PPT, 视频 |
| 分布式并行 | 06 大模型并行与 GPU 集群配置 | PPT, 视频 |
| 分布式并行 | 07 Megatron-LM TP 原理 | PPT, 视频 |
| 分布式并行 | 08 Megatron-LM TP 代码解析 | PPT, 视频 |
| 分布式并行 | 09 Megatron-LM SP 代码解析 | PPT, 视频 |
| 分布式并行 | 10 Megatron-LM PP 基本原理 | PPT, 视频 |
| 分布式并行 | 11 流水并行 1F1B/1F1B Interleaved 原理 | PPT, 视频 |
| 分布式并行 | 12 Megatron-LM 流水并行 PP 代码解析 | PPT, 视频 |