集合通信原理

集合通信原理主要介绍在 AI 集群或者大模型训练、推理的过程中,使用到的通信原理涉及相关知识,如什么是通信域、通信算法、集合通信原语的类型,除了集合通信的基本原理,还会介绍 AI 集群通信过程中相关的硬件介质,如片内互联、片外互联或者叫带内带外互联的方式方法。

内容大纲

PPT字幕 需要到 Github 下载,网页课程版链接会失效哦~

建议优先下载 PDF 版本,PPT 版本会因为字体缺失等原因导致版本很丑哦~

大纲小节链接
集合通信原理01 大模型集合通信介绍PPT, 视频
集合通信原理02 为什么需要集合通信PPT, 视频
集合通信原理03 集合通信操作/原语/算子PPT, 视频
集合通信原理04 AI 对集合通信算法诉求PPT, 视频
集合通信原理05 大模型集合通信算法细节PPT, 视频
集合通信原理06 通信域与 PyTorch 实现PPT, 视频
集合通信原理07 AI 芯片内互联技术PPT, 视频
集合通信原理08 大模型集群互联技术PPT, 视频