AI 学位·
全部课程 / L2 方法层

L2-01 序列建模前史

学时 5h(3 次) 前置 L1-02(L1-06 神经网络) 性质 承重墙(理解 Transformer 为什么出现)


为什么学这门

很多人直接从 Transformer 开始学,结果是能复述结构,但无法判断设计。你会说「自注意力好」,但说不出它好在哪、替换了谁、代价是什么。

这门课讲的是「Transformer 之前的世界」。学完你会明白:

  • 注意力的核心不是「关注」,是任意两个位置之间路径长度为 1
  • RNN 的致命问题不是慢,是梯度要穿过所有中间步
  • 位置编码为什么是必须的(因为注意力本身无序)

这是 L2-02 的地基。


课时拆解

第 1 次(1.5h)n-gram 到 RNN

  • 语言模型的定义:P(wₜ | w₁...wₜ₋₁)
  • n-gram:马尔可夫假设与它的爆炸
  • 词袋模型的局限(无顺序)
  • RNN:隐状态作为「记忆」
  • RNN 的并行性问题:时间步必须串行

动手:实现一个 bigram 语言模型,在莎士比亚文本上生成几句,感受「局部通顺全局崩坏」。

第 2 次(2h)LSTM 与梯度问题

  • 朴素 RNN 的梯度消失:连乘 <1 的雅可比
  • LSTM 的门控:遗忘门、输入门、输出门
  • 为什么门控能缓解(细胞状态的加法路径)
  • LSTM 仍无法解决:长依赖 + 串行

动手:对比 RNN 与 LSTM 在「记住第 5 个 token」任务上的表现(序列长度扫一遍)。

第 3 次(1.5h)注意力之前

  • seq2seq 与编码器-解码器
  • 瓶颈问题:一个固定向量装不下整句
  • Bahdanau 注意力:让解码器「回头看」编码器
  • 注意力如何把路径长度从 O(n) 降到 O(1)
  • 从「加性注意力」到「点积注意力」的简化

动手:画出 seq2seq + attention 的数据流图,标注每一步的 shape。


核心概念清单

  • n-gram 的假设是什么、代价是什么
  • RNN 的梯度为什么会消失
  • LSTM 的三门各控制什么
  • 注意力解决了 seq2seq 的什么瓶颈
  • 为什么注意力比 RNN 更适合并行

材料

  • Karpathy「The Unreasonable Effectiveness of RNNs」博客
  • Bahdanau et al. 2014 论文的 §3(只读注意力那节)
  • 不需要读 LSTM 原论文

验收作业

  1. bigram 生成:实现 bigram 模型,生成 100 词,指出它在哪一步开始崩,并解释原因。
  2. 梯度实验:构造长度 50 的序列,测 RNN 与 LSTM 到第 1 个 token 的梯度范数,画图。
  3. 路径长度论证:用一段话说明「为什么注意力的长依赖能力本质上来自路径长度 O(1)」。
  4. 数据流图:seq2seq+attention 完整图,所有张量标 shape。

第 3 题是本课的真正产出。答得出来,你在 L2-02 就不会把注意力当魔术。


常见卡点

卡点 真相
「LSTM 公式记不住」 不用记。只需知道「用门控制写多少、忘多少」
「注意力为什么叫注意力」 名字有误导。它本质是「按相关性加权求和」,和人的注意力关系不大
「为什么路径长度重要」 梯度每穿过一层就衰减一次。路径越短,信号越完整