AI 学位·
全部课程 / L3 系统层

L3-01 分布式训练

学时 6h(3 次) 前置 L2-03、L1-08 性质 系统课


为什么学这门

你要理解「为什么只有少数公司能训前沿模型」。答案就在这门课里:这不是算法问题,是工程与资本问题。

学完这门,你看任何一篇模型技术报告的训练章节,都能读懂它在说什么、难点在哪、需要多少卡。


课时拆解

第 1 次(2h)三种并行

  • 数据并行(DP):每卡一份模型,分数据;梯度 all-reduce
  • 张量并行(TP):把单层矩阵切到多卡;每层都要通信
  • 流水并行(PP):把层切段;流水线气泡问题
  • 3D 并行:三者组合,这是实际训练大模型的形态
  • 通信开销的直觉:TP 最贵(每层通信),PP 次之,DP 最便宜

动手:画一个 8 卡训练的切分示意图,标出每张卡上有什么、什么时候通信。

第 2 次(2h)显存优化

  • 训练显存的四块:参数、梯度、优化器状态、激活
  • 混合精度:fp16/bf16 前向 + fp32 主权重
  • ZeRO 三阶段:切优化器状态 → 切梯度 → 切参数
  • 激活重计算(gradient checkpointing):用算力换显存
  • 算一笔账:7B 模型全量训练需要多少显存?为什么单卡放不下

动手:对 7B/70B 模型,列出四种配置下的显存需求表。

第 3 次(2h)实际约束

  • 通信带宽:NVLink vs InfiniBand vs 以太网
  • MFU(模型算力利用率):为什么 40% 就算不错
  • 失败恢复:大训练任务挂掉怎么办(checkpoint 策略)
  • 成本估算:1 万卡训练一个月要多少钱
  • 为什么小团队只能做微调和蒸馏

动手:估算一次「1000 卡 × 30 天」的训练成本(用公开的 GPU 时租价)。


核心概念清单

  • 三种并行各切什么
  • 为什么 TP 通信最贵
  • ZeRO 三个阶段各切什么
  • 梯度检查点用算力换什么
  • MFU 是什么、为什么难提高
  • 大模型训练的资本门槛从哪来

材料

  • Megatron-LM 论文(读 §3 的并行部分)
  • ZeRO 论文(读 §3,图很重要)
  • 任一大模型技术报告的训练基础设施章节(如 Llama 3)

验收作业

  1. 切分示意图:8 卡 3D 并行的完整切分图。
  2. 显存账本表:7B 和 70B 在「全量 fp16」「+ZeRO-1」「+ZeRO-2」「+ZeRO-3」四配置下的显存需求。
  3. MFU 计算:给一个训练配置,算出理论 FLOPS 需求与实际耗时,估 MFU。
  4. 成本估算:1000 卡 30 天的训练成本,列出假设。
  5. 一句话判断:为什么大多数公司做不了预训练,只能做后训练?

第 4、5 题直接服务于你以后的产业链分析。


常见卡点

卡点 真相
「ZeRO 和 DP 什么关系」 ZeRO 是 DP 的显存优化版。数据还是分,但模型状态也切了
「流水并行的气泡」 因为前面的段在算时,后面的段在等。微批次越多气泡越小
「MFU 为什么只有 40%」 通信等待、内存墙、负载不均。100% 是理论值,现实中拿不到