AI 学位·
全部课程 / L1 基础层

L1-08 计算与硬件 101

学时 5h(3 次) 前置 无 性质 通识课(但决定你能否理解成本)


为什么学这门

因为成本是 AI 竞争的主战场,而成本由硬件决定。

你要做的 DeepSeek 路线分析(L4-03)和产业链地图(L4-01),如果不懂「显存带宽 vs 算力」「FP8 省什么」「MoE 为什么省 FLOPs 但不省显存」,分析就只能抄别人的结论。

这门课不需要你有 GPU 集群。目标只有一个:看到任何一张模型卡或报价单,能算出它在哪受限。


课时拆解

第 1 次(2h)GPU 的三个瓶颈

  • 算力:FLOPS,分 FP32/TF32/FP16/BF16/FP8/INT8
  • 显存:容量、带宽(HBM)
  • 互联:NVLink、PCIe、跨节点网络
  • 关键判断:一个任务是 compute-bound 还是 memory-bound
  • roofline 模型的直觉(不推公式)

动手:查一张真实显卡规格(如 H100/A100/4090),算出它的「算术强度阈值」,判断矩阵乘法属于哪一类。

第 2 次(1.5h)精度与量化

  • FP32/FP16/BF16 的位分配差异(指数位 vs 尾数位)
  • 为什么 BF16 比 FP16 更适合训练
  • FP8 的两种格式(E4M3/E5M2)
  • 量化:INT8/INT4、per-tensor vs per-channel
  • 量化省的是显存还是算力(答案:都省,但机制不同)

动手:把一个 fp16 张量量化到 int8 再反量化,算误差。

第 3 次(1.5h)并行与显存账本

  • 数据并行 / 张量并行 / 流水并行(概念层)
  • 训练显存构成:参数 + 梯度 + 优化器状态 + 激活
  • 为什么 7B 模型训练要远超 14GB
  • 推理显存:权重 + KV cache
  • KV cache 为什么是大模型服务的核心成本

动手:算一笔账——70B 模型,bf16,推理时 batch=32、上下文 8k,需要多少显存?其中 KV cache 占多少?


核心概念清单

  • compute-bound 与 memory-bound 的区别
  • BF16 为什么比 FP16 稳
  • 训练显存的四个组成部分
  • KV cache 的大小由什么决定
  • 为什么 MoE 省算力但不省显存

材料

  • 任意一篇 GPU 架构科普(如 NVIDIA 官方的 H100 白皮书前几页)
  • 《Efficiently Scaling Transformer Inference》只读前 3 页了解 KV cache 成本

验收作业

  1. 算术强度计算:给出某 GPU 的 FLOPS 与带宽,算算术强度阈值,并判断 batch=1 的推理和 batch=256 的训练分别是什么瓶颈。
  2. 量化误差:fp16→int8→fp16 往返,算最大误差和平均误差。
  3. 显存账本:70B 模型推理,batch=32,ctx=8k,分层列出显存占用(权重/KV cache/激活),给出总量。
  4. 一句话判断题:为什么 DeepSeek 用 MoE + MLA 能大幅降低服务成本?分别说出两者各自省了什么。

第 3、4 题直接通向 L4-03。


常见卡点

卡点 真相
「roofline 看不懂」 只需记住:小 batch 时 GPU 在等数据(memory-bound),大 batch 时在算(compute-bound)
「FP8 为什么能加速」 位宽减半,同样的显存带宽能搬两倍数据,同样的 Tensor Core 吞吐翻倍
「KV cache 公式」 2 × 层数 × 头数 × head_dim × 序列长度 × batch × 字节数。记住这个结构即可