全部课程 / L1 基础层
L1-08 计算与硬件 101
学时 5h(3 次) 前置 无 性质 通识课(但决定你能否理解成本)
为什么学这门
因为成本是 AI 竞争的主战场,而成本由硬件决定。
你要做的 DeepSeek 路线分析(L4-03)和产业链地图(L4-01),如果不懂「显存带宽 vs 算力」「FP8 省什么」「MoE 为什么省 FLOPs 但不省显存」,分析就只能抄别人的结论。
这门课不需要你有 GPU 集群。目标只有一个:看到任何一张模型卡或报价单,能算出它在哪受限。
课时拆解
第 1 次(2h)GPU 的三个瓶颈
- 算力:FLOPS,分 FP32/TF32/FP16/BF16/FP8/INT8
- 显存:容量、带宽(HBM)
- 互联:NVLink、PCIe、跨节点网络
- 关键判断:一个任务是 compute-bound 还是 memory-bound
- roofline 模型的直觉(不推公式)
动手:查一张真实显卡规格(如 H100/A100/4090),算出它的「算术强度阈值」,判断矩阵乘法属于哪一类。
第 2 次(1.5h)精度与量化
- FP32/FP16/BF16 的位分配差异(指数位 vs 尾数位)
- 为什么 BF16 比 FP16 更适合训练
- FP8 的两种格式(E4M3/E5M2)
- 量化:INT8/INT4、per-tensor vs per-channel
- 量化省的是显存还是算力(答案:都省,但机制不同)
动手:把一个 fp16 张量量化到 int8 再反量化,算误差。
第 3 次(1.5h)并行与显存账本
- 数据并行 / 张量并行 / 流水并行(概念层)
- 训练显存构成:参数 + 梯度 + 优化器状态 + 激活
- 为什么 7B 模型训练要远超 14GB
- 推理显存:权重 + KV cache
- KV cache 为什么是大模型服务的核心成本
动手:算一笔账——70B 模型,bf16,推理时 batch=32、上下文 8k,需要多少显存?其中 KV cache 占多少?
核心概念清单
- compute-bound 与 memory-bound 的区别
- BF16 为什么比 FP16 稳
- 训练显存的四个组成部分
- KV cache 的大小由什么决定
- 为什么 MoE 省算力但不省显存
材料
- 任意一篇 GPU 架构科普(如 NVIDIA 官方的 H100 白皮书前几页)
- 《Efficiently Scaling Transformer Inference》只读前 3 页了解 KV cache 成本
验收作业
- 算术强度计算:给出某 GPU 的 FLOPS 与带宽,算算术强度阈值,并判断 batch=1 的推理和 batch=256 的训练分别是什么瓶颈。
- 量化误差:fp16→int8→fp16 往返,算最大误差和平均误差。
- 显存账本:70B 模型推理,batch=32,ctx=8k,分层列出显存占用(权重/KV cache/激活),给出总量。
- 一句话判断题:为什么 DeepSeek 用 MoE + MLA 能大幅降低服务成本?分别说出两者各自省了什么。
第 3、4 题直接通向 L4-03。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「roofline 看不懂」 | 只需记住:小 batch 时 GPU 在等数据(memory-bound),大 batch 时在算(compute-bound) |
| 「FP8 为什么能加速」 | 位宽减半,同样的显存带宽能搬两倍数据,同样的 Tensor Core 吞吐翻倍 |
| 「KV cache 公式」 | 2 × 层数 × 头数 × head_dim × 序列长度 × batch × 字节数。记住这个结构即可 |