全部课程 / L2 方法层
L2-03 预训练目标与 Scaling
学时 6h(4 次) 前置 L2-02、L1-07(信息论) 性质 承重墙
为什么学这门
这门课回答三个问题,而这三个问题决定了你对整个行业的判断力:
- 模型是怎么「学会」的? —— 下一个 token 预测,仅此而已。但这个「仅此而已」能涌现出推理能力,是本时代最大的未解之谜。
- 数据 vs 参数,该加哪个? —— Scaling law 的核心结论。
- tokenizer 为什么重要? —— 它决定了模型看待世界的最小单位,直接影响中文效果和成本。
课时拆解
第 1 次(1.5h)语言模型目标
- 自回归 LM:P(x) = Π P(xₜ | x<ₜ)
- 为什么这个目标能学到「知识」(要预测下一个词,必须理解上下文)
- MLM(BERT 路线)与自回归(GPT 路线)的取舍
- 去噪目标(T5)、前缀 LM
- 为什么 2020 年后自回归一统天下
动手:用一个小模型(或直接手算)计算一句话的 perplexity。
第 2 次(1.5h)Tokenizer
- 字符级 / 词级 / 子词
- BPE 算法:从字符开始,反复合并最高频对
- WordPiece、SentencePiece 的差异
- 词表大小的影响:大词表省序列长度但 embedding 大
- 中文的问题:一个汉字几个 token?这直接影响中文 API 成本
- 数字与代码的 tokenization 陷阱(为什么模型算术差)
动手:用 tiktoken 或 tokenizers 库,对同一段中英文分别 tokenize,算 token 数比例。
第 3 次(2h)Scaling Law
- Kaplan et al. 2020:loss 与参数量/数据量/算力的幂律关系
- Chinchilla 修正:最优是「参数与数据同比例增长」,约 20 token/参数
- 为什么后来的模型「过度训练」(推理成本主导时的最优解不同)
- 数据墙:高质量 token 快用完了
- 合成数据的角色
动手:拟合一组给定的 (N, D, loss) 数据点,估出幂律指数。
第 4 次(1h)数据工程
- 数据配比:代码/数学/多语言的比例如何影响能力
- 去重、质量过滤、毒性过滤
- 数据污染:测试集泄漏进训练集
- 课程学习:先易后难有没有用
动手:给一批文本设计一个质量过滤规则集(至少 5 条),并说明每条在过滤什么。
核心概念清单
- 自回归目标为什么能学到知识
- BPE 的基本流程
- 中文 tokenization 为什么贵
- Chinchilla 的核心结论
- 为什么现在模型「过度训练」
- 数据污染怎么发生
材料
- 《Language Models are Unsupervised Multitask Learners》(GPT-2,读 §2)
- Chinchilla 论文(读摘要 + 图 1、图 2)
- Karpathy「Let's build the GPT Tokenizer」(视频,讲 BPE 极清楚)
验收作业
- perplexity 计算:给一段文本和一个 bigram 模型,算出 perplexity,并解释这个数字的含义。
- BPE 手写:用 200 行以内实现一个简化 BPE,在给定语料上训练 1000 次合并,展示词表增长过程。
- 中英文 token 比:同一段内容的中英文版本,token 数比是多少?据此估算中文 API 的相对成本。
- Scaling 拟合:给定数据点,拟合 L = a·N^(-b),报告 b 值,并预测 N 翻 10 倍时 loss 降多少。
- 污染检测方案:设计一个检测「测试集污染」的方法,写出步骤。
第 3 题对你日常用 API 有直接价值。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「预测下一个词怎么会有推理能力」 | 这是开放问题。本课只需知道「事实如此」,机制留到 L2-07 |
| 「Chinchilla 的 20:1 怎么来的」 | 是算力约束下的最优点。约束变了,最优点就变 |
| 「BPE 和 WordPiece 区别」 | 合并准则不同(BPE 按频次,WordPiece 按似然增益)。工程上差别不大 |
| 「为什么中文贵」 | 因为 tokenizer 多以英文语料训练,一个汉字常被切成 2–3 个 token |