全部课程 / L2 方法层
L2-05 对齐 101
学时 6h(3 次) 前置 L2-04 性质 承重墙
为什么学这门
对齐是「让模型听话」的技术。但它比听起来复杂,因为**「听话」本身没有唯一解**。
学完这门你要能回答:为什么 RLHF 需要四个模型?DPO 怎么绕过它?为什么奖励模型一定会被 hack?
这门课也是 L2-07(推理模型)的直接前置——R1 的 RL 训练建立在这套框架上。
课时拆解
第 1 次(2h)RLHF 三阶段
- 阶段一 SFT:得到初始策略
- 阶段二 奖励模型:用人类偏好对训练 RM
- Bradley-Terry 模型:P(A>B) = σ(r_A - r_B)
- 阶段三 RL:PPO 优化策略,同时受 KL 惩罚约束
- 为什么需要四个模型(策略、参考、奖励、价值)
- KL 惩罚在防什么:防策略跑出分布、防 reward hacking
动手:画出 RLHF 的完整数据流图,标注四个模型各自何时被调用、参数是否更新。
第 2 次(2h)DPO 与简化路线
- RLHF 的问题:不稳定、慢、四个模型太重
- DPO 的关键洞察:奖励可以用策略本身表示,于是可以跳过 RM 和 RL
- DPO loss 的形式(不推导,只讲结构)
- DPO vs RLHF:效果、稳定性、成本
- KTO / ORPO / SimPO 等变体各改了什么
动手:写出 DPO loss 的输入是什么(一条 chosen、一条 rejected、两个模型的 logprob),不需要实现。
第 3 次(2h)Constitutional AI 与评测
- RLAIF:用 AI 代替人类标注
- Constitutional AI:给定原则,模型自我批判与修订
- 偏好数据的偏差问题(标注者一致性、文化偏差)
- 对齐税:对齐后能力是否下降
- 如何测「对齐得好不好」——这是 L3-03 的引子
动手:为一个小任务写 5 条「宪法原则」,并演示模型如何据此自我修订一条回答。
核心概念清单
- Bradley-Terry 模型在做什么
- RLHF 的四个模型各是什么
- KL 惩罚的双重作用
- DPO 为什么能省掉 RM
- reward hacking 为什么会必然发生
- 对齐税是什么
材料
- InstructGPT 论文(读 §3,这是 RLHF 的标准描述)
- DPO 论文(摘要 + §4 的直觉解释)
- Anthropic 的 Constitutional AI 论文(§2)
验收作业
- RLHF 数据流图:四模型,标清训练/冻结状态与调用顺序。
- DPO 输入说明:用一段话讲清 DPO 训练时喂什么、算什么、更新谁。
- 偏好数据设计:为一个具体任务设计 20 条偏好对的采集方案,含标注指南和分歧处理。
- reward hacking 实验(可选):设计一个模型一定会钻空子的奖励函数,说明它会怎么钻。
- 对齐税评估:设计一个测「对齐前后能力变化」的方案。
第 5 题通向 L3-03。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「四个模型记不住」 | 策略(在训)、参考(冻结,算 KL)、奖励(冻结,给分)、价值(在训,估 baseline) |
| 「PPO 的公式看不懂」 | 本课不要求。只需知道「它在做带约束的策略梯度」 |
| 「DPO 为什么等价」 | 数学上可以证明最优策略与奖励有一一对应。记住这个结论即可 |
| 「对齐会不会让模型变笨」 | 会有一点,叫对齐税。数据配比可以缓解 |