全部课程 / L3 系统层
L3-01 分布式训练
学时 6h(3 次) 前置 L2-03、L1-08 性质 系统课
为什么学这门
你要理解「为什么只有少数公司能训前沿模型」。答案就在这门课里:这不是算法问题,是工程与资本问题。
学完这门,你看任何一篇模型技术报告的训练章节,都能读懂它在说什么、难点在哪、需要多少卡。
课时拆解
第 1 次(2h)三种并行
- 数据并行(DP):每卡一份模型,分数据;梯度 all-reduce
- 张量并行(TP):把单层矩阵切到多卡;每层都要通信
- 流水并行(PP):把层切段;流水线气泡问题
- 3D 并行:三者组合,这是实际训练大模型的形态
- 通信开销的直觉:TP 最贵(每层通信),PP 次之,DP 最便宜
动手:画一个 8 卡训练的切分示意图,标出每张卡上有什么、什么时候通信。
第 2 次(2h)显存优化
- 训练显存的四块:参数、梯度、优化器状态、激活
- 混合精度:fp16/bf16 前向 + fp32 主权重
- ZeRO 三阶段:切优化器状态 → 切梯度 → 切参数
- 激活重计算(gradient checkpointing):用算力换显存
- 算一笔账:7B 模型全量训练需要多少显存?为什么单卡放不下
动手:对 7B/70B 模型,列出四种配置下的显存需求表。
第 3 次(2h)实际约束
- 通信带宽:NVLink vs InfiniBand vs 以太网
- MFU(模型算力利用率):为什么 40% 就算不错
- 失败恢复:大训练任务挂掉怎么办(checkpoint 策略)
- 成本估算:1 万卡训练一个月要多少钱
- 为什么小团队只能做微调和蒸馏
动手:估算一次「1000 卡 × 30 天」的训练成本(用公开的 GPU 时租价)。
核心概念清单
- 三种并行各切什么
- 为什么 TP 通信最贵
- ZeRO 三个阶段各切什么
- 梯度检查点用算力换什么
- MFU 是什么、为什么难提高
- 大模型训练的资本门槛从哪来
材料
- Megatron-LM 论文(读 §3 的并行部分)
- ZeRO 论文(读 §3,图很重要)
- 任一大模型技术报告的训练基础设施章节(如 Llama 3)
验收作业
- 切分示意图:8 卡 3D 并行的完整切分图。
- 显存账本表:7B 和 70B 在「全量 fp16」「+ZeRO-1」「+ZeRO-2」「+ZeRO-3」四配置下的显存需求。
- MFU 计算:给一个训练配置,算出理论 FLOPS 需求与实际耗时,估 MFU。
- 成本估算:1000 卡 30 天的训练成本,列出假设。
- 一句话判断:为什么大多数公司做不了预训练,只能做后训练?
第 4、5 题直接服务于你以后的产业链分析。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「ZeRO 和 DP 什么关系」 | ZeRO 是 DP 的显存优化版。数据还是分,但模型状态也切了 |
| 「流水并行的气泡」 | 因为前面的段在算时,后面的段在等。微批次越多气泡越小 |
| 「MFU 为什么只有 40%」 | 通信等待、内存墙、负载不均。100% 是理论值,现实中拿不到 |