全部课程 / L2 方法层
L2-01 序列建模前史
学时 5h(3 次) 前置 L1-02(L1-06 神经网络) 性质 承重墙(理解 Transformer 为什么出现)
为什么学这门
很多人直接从 Transformer 开始学,结果是能复述结构,但无法判断设计。你会说「自注意力好」,但说不出它好在哪、替换了谁、代价是什么。
这门课讲的是「Transformer 之前的世界」。学完你会明白:
- 注意力的核心不是「关注」,是任意两个位置之间路径长度为 1
- RNN 的致命问题不是慢,是梯度要穿过所有中间步
- 位置编码为什么是必须的(因为注意力本身无序)
这是 L2-02 的地基。
课时拆解
第 1 次(1.5h)n-gram 到 RNN
- 语言模型的定义:P(wₜ | w₁...wₜ₋₁)
- n-gram:马尔可夫假设与它的爆炸
- 词袋模型的局限(无顺序)
- RNN:隐状态作为「记忆」
- RNN 的并行性问题:时间步必须串行
动手:实现一个 bigram 语言模型,在莎士比亚文本上生成几句,感受「局部通顺全局崩坏」。
第 2 次(2h)LSTM 与梯度问题
- 朴素 RNN 的梯度消失:连乘 <1 的雅可比
- LSTM 的门控:遗忘门、输入门、输出门
- 为什么门控能缓解(细胞状态的加法路径)
- LSTM 仍无法解决:长依赖 + 串行
动手:对比 RNN 与 LSTM 在「记住第 5 个 token」任务上的表现(序列长度扫一遍)。
第 3 次(1.5h)注意力之前
- seq2seq 与编码器-解码器
- 瓶颈问题:一个固定向量装不下整句
- Bahdanau 注意力:让解码器「回头看」编码器
- 注意力如何把路径长度从 O(n) 降到 O(1)
- 从「加性注意力」到「点积注意力」的简化
动手:画出 seq2seq + attention 的数据流图,标注每一步的 shape。
核心概念清单
- n-gram 的假设是什么、代价是什么
- RNN 的梯度为什么会消失
- LSTM 的三门各控制什么
- 注意力解决了 seq2seq 的什么瓶颈
- 为什么注意力比 RNN 更适合并行
材料
- Karpathy「The Unreasonable Effectiveness of RNNs」博客
- Bahdanau et al. 2014 论文的 §3(只读注意力那节)
- 不需要读 LSTM 原论文
验收作业
- bigram 生成:实现 bigram 模型,生成 100 词,指出它在哪一步开始崩,并解释原因。
- 梯度实验:构造长度 50 的序列,测 RNN 与 LSTM 到第 1 个 token 的梯度范数,画图。
- 路径长度论证:用一段话说明「为什么注意力的长依赖能力本质上来自路径长度 O(1)」。
- 数据流图:seq2seq+attention 完整图,所有张量标 shape。
第 3 题是本课的真正产出。答得出来,你在 L2-02 就不会把注意力当魔术。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「LSTM 公式记不住」 | 不用记。只需知道「用门控制写多少、忘多少」 |
| 「注意力为什么叫注意力」 | 名字有误导。它本质是「按相关性加权求和」,和人的注意力关系不大 |
| 「为什么路径长度重要」 | 梯度每穿过一层就衰减一次。路径越短,信号越完整 |