AI 学位·
全部课程 / L2 方法层

L2-03 预训练目标与 Scaling

学时 6h(4 次) 前置 L2-02、L1-07(信息论) 性质 承重墙


为什么学这门

这门课回答三个问题,而这三个问题决定了你对整个行业的判断力:

  1. 模型是怎么「学会」的? —— 下一个 token 预测,仅此而已。但这个「仅此而已」能涌现出推理能力,是本时代最大的未解之谜。
  2. 数据 vs 参数,该加哪个? —— Scaling law 的核心结论。
  3. tokenizer 为什么重要? —— 它决定了模型看待世界的最小单位,直接影响中文效果和成本。

课时拆解

第 1 次(1.5h)语言模型目标

  • 自回归 LM:P(x) = Π P(xₜ | x<ₜ)
  • 为什么这个目标能学到「知识」(要预测下一个词,必须理解上下文)
  • MLM(BERT 路线)与自回归(GPT 路线)的取舍
  • 去噪目标(T5)、前缀 LM
  • 为什么 2020 年后自回归一统天下

动手:用一个小模型(或直接手算)计算一句话的 perplexity。

第 2 次(1.5h)Tokenizer

  • 字符级 / 词级 / 子词
  • BPE 算法:从字符开始,反复合并最高频对
  • WordPiece、SentencePiece 的差异
  • 词表大小的影响:大词表省序列长度但 embedding 大
  • 中文的问题:一个汉字几个 token?这直接影响中文 API 成本
  • 数字与代码的 tokenization 陷阱(为什么模型算术差)

动手:用 tiktoken 或 tokenizers 库,对同一段中英文分别 tokenize,算 token 数比例。

第 3 次(2h)Scaling Law

  • Kaplan et al. 2020:loss 与参数量/数据量/算力的幂律关系
  • Chinchilla 修正:最优是「参数与数据同比例增长」,约 20 token/参数
  • 为什么后来的模型「过度训练」(推理成本主导时的最优解不同)
  • 数据墙:高质量 token 快用完了
  • 合成数据的角色

动手:拟合一组给定的 (N, D, loss) 数据点,估出幂律指数。

第 4 次(1h)数据工程

  • 数据配比:代码/数学/多语言的比例如何影响能力
  • 去重、质量过滤、毒性过滤
  • 数据污染:测试集泄漏进训练集
  • 课程学习:先易后难有没有用

动手:给一批文本设计一个质量过滤规则集(至少 5 条),并说明每条在过滤什么。


核心概念清单

  • 自回归目标为什么能学到知识
  • BPE 的基本流程
  • 中文 tokenization 为什么贵
  • Chinchilla 的核心结论
  • 为什么现在模型「过度训练」
  • 数据污染怎么发生

材料

  • 《Language Models are Unsupervised Multitask Learners》(GPT-2,读 §2)
  • Chinchilla 论文(读摘要 + 图 1、图 2)
  • Karpathy「Let's build the GPT Tokenizer」(视频,讲 BPE 极清楚)

验收作业

  1. perplexity 计算:给一段文本和一个 bigram 模型,算出 perplexity,并解释这个数字的含义。
  2. BPE 手写:用 200 行以内实现一个简化 BPE,在给定语料上训练 1000 次合并,展示词表增长过程。
  3. 中英文 token 比:同一段内容的中英文版本,token 数比是多少?据此估算中文 API 的相对成本。
  4. Scaling 拟合:给定数据点,拟合 L = a·N^(-b),报告 b 值,并预测 N 翻 10 倍时 loss 降多少。
  5. 污染检测方案:设计一个检测「测试集污染」的方法,写出步骤。

第 3 题对你日常用 API 有直接价值。


常见卡点

卡点 真相
「预测下一个词怎么会有推理能力」 这是开放问题。本课只需知道「事实如此」,机制留到 L2-07
「Chinchilla 的 20:1 怎么来的」 是算力约束下的最优点。约束变了,最优点就变
「BPE 和 WordPiece 区别」 合并准则不同(BPE 按频次,WordPiece 按似然增益)。工程上差别不大
「为什么中文贵」 因为 tokenizer 多以英文语料训练,一个汉字常被切成 2–3 个 token