AI 学位·
全部课程 / L2 方法层

L2-02 Transformer 101

学时 6h(4 次) 前置 L2-01、L1-01(线代) 性质 承重墙中的承重墙 / 不允许跳过


为什么学这门

Transformer 是现代 AI 的唯一基础架构。GPT、DeepSeek、Qwen、Claude、ViT、多模态——全是它。

但这门课的要求不是「知道有 Q K V」。要求是:

拿一张纸,手算一个 4×4 的注意力,每一步 shape 都对。

做到这一点,后面读任何模型论文,你都能在脑子里跑一遍数据流。做不到,你只能看别人的解读。


课时拆解

第 1 次(2h)自注意力:手算

从最朴素的形式开始,不用任何库。

给定 3 个 token 的输入向量(x₁,x₂,x₃,各 4 维):

  1. 线性投影得到 Q = XW_Q, K = XW_K, V = XW_V
  2. 打分 S = QKᵀ(为什么是点积?)
  3. 缩放 S/√d_k(为什么要除?——方差随维度增长)
  4. softmax 按行归一化
  5. 输出 = softmax(S)·V

必须动手:用 NumPy 手写这 5 步,打印每一步的 shape 和数值。改一个 token 的输入,观察输出怎么变。

这一步是整门课的核心。花满 2 小时,不要赶。

第 2 次(1.5h)多头注意力

  • 为什么需要多头:不同的「关系模式」
  • 拆头:把 d_model 切成 h 份 d_head
  • 并行计算,再拼接,再投影
  • 参数量账:多头比单头多多少参数?(答案:一样,只要 d_model 不变)
  • 复杂度:O(n²d) 从哪来

动手:把第 1 次的单头代码改成多头,验证 h=1 且 W 相同时输出一致。

第 3 次(1.5h)位置编码与结构件

  • 为什么需要位置信息:注意力对置换等变
  • 正弦位置编码:为什么能表示相对位置
  • 可学习位置编码 vs RoPE(只讲直觉:RoPE 把位置编码成旋转)
  • 残差连接:为什么每个子层都有
  • LayerNorm:Pre-LN vs Post-LN,为什么现代模型用 Pre-LN
  • FFN:为什么要中间扩 4 倍,它承担什么

动手:实现 sinusoidal 位置编码,画出热力图,观察不同维度的波长。

第 4 次(1h)组装成完整模型

  • Encoder 块 vs Decoder 块(掩码的差别)
  • Causal mask 怎么实现(上三角 -inf)
  • 完整 GPT 结构:embedding → N×block → final norm → lm_head
  • 参数量估算:一个 7B 模型的参数都在哪

动手:数一遍 nanoGPT 的参数分布,验证「大部分参数在 FFN」。


核心概念清单

  • Q K V 各自的角色(一句话:Q 是「我在找什么」,K 是「我有什么」,V 是「我提供什么」)
  • 为什么除以 √d_k
  • 多头为什么不多花参数
  • 位置编码为什么必需
  • Pre-LN 为什么更稳
  • 参数量主要在哪

材料

  • 《Attention Is All You Need》(读 §3,其余略)
  • Karpathy「Let's build GPT from scratch」(视频 2h,跟着敲一遍)
  • Jay Alammar「The Illustrated Transformer」(图好看,建立直觉)

顺序建议:先读图解建立画面 → 再看论文 §3 → 最后跟 Karpathy 敲代码。


验收作业(全部必做)

  1. 手算注意力:给定具体的 3×4 输入和随机的 W_Q/W_K/W_V,手算(或用 NumPy)得到输出,并打印 5 个中间结果的 shape。提交代码 + 一段手写推导照片。
  2. 缩放的必要性:构造 d_k=512 的随机 Q K,分别用和不用的 1/√d_k 缩放,画出 softmax 后最大权重的分布。解释为什么必须缩放。
  3. 多头等价性:证明 h 个头在 W 相同时等价于单头(代码验证)。
  4. 从零实现 GPT:用 PyTorch 实现一个 2 层 GPT,在字符级莎士比亚上训练到能生成通顺片段。
  5. 参数量账本:对一个 d_model=4096, n_layer=32, n_head=32, vocab=128k 的模型,分层算出参数量,并指出 FFN 占比。

5 题全过才结课。第 1 题做不到就停,不要往下走。


常见卡点

卡点 真相
「Q K V 到底是什么」 是同一个输入的三种线性投影。Q 和 K 用来算相关性,V 是被加权的内容
「为什么是点积而不是别的」 点积衡量方向相似度,且能用矩阵乘法一次算完,硬件友好
「√d_k 到底除在哪」 除在打分上,softmax 之前。目的是让打分方差回到 1
「多头怎么切的」 把 4096 维切成 32 份 128 维,每份独立做注意力,再拼回 4096
「mask 怎么加」 在 softmax 之前,把上三角位置设成 -inf。softmax 后自然为 0
「RoPE 看不懂」 正常。本课只需知道「它把位置信息编码进 Q K 的旋转角度」,细节留到读 DeepSeek 论文时再补