AI 学位·
全部课程 / L2 方法层

L2-05 对齐 101

学时 6h(3 次) 前置 L2-04 性质 承重墙


为什么学这门

对齐是「让模型听话」的技术。但它比听起来复杂,因为**「听话」本身没有唯一解**。

学完这门你要能回答:为什么 RLHF 需要四个模型?DPO 怎么绕过它?为什么奖励模型一定会被 hack?

这门课也是 L2-07(推理模型)的直接前置——R1 的 RL 训练建立在这套框架上。


课时拆解

第 1 次(2h)RLHF 三阶段

  • 阶段一 SFT:得到初始策略
  • 阶段二 奖励模型:用人类偏好对训练 RM
    • Bradley-Terry 模型:P(A>B) = σ(r_A - r_B)
  • 阶段三 RL:PPO 优化策略,同时受 KL 惩罚约束
  • 为什么需要四个模型(策略、参考、奖励、价值)
  • KL 惩罚在防什么:防策略跑出分布、防 reward hacking

动手:画出 RLHF 的完整数据流图,标注四个模型各自何时被调用、参数是否更新。

第 2 次(2h)DPO 与简化路线

  • RLHF 的问题:不稳定、慢、四个模型太重
  • DPO 的关键洞察:奖励可以用策略本身表示,于是可以跳过 RM 和 RL
  • DPO loss 的形式(不推导,只讲结构)
  • DPO vs RLHF:效果、稳定性、成本
  • KTO / ORPO / SimPO 等变体各改了什么

动手:写出 DPO loss 的输入是什么(一条 chosen、一条 rejected、两个模型的 logprob),不需要实现。

第 3 次(2h)Constitutional AI 与评测

  • RLAIF:用 AI 代替人类标注
  • Constitutional AI:给定原则,模型自我批判与修订
  • 偏好数据的偏差问题(标注者一致性、文化偏差)
  • 对齐税:对齐后能力是否下降
  • 如何测「对齐得好不好」——这是 L3-03 的引子

动手:为一个小任务写 5 条「宪法原则」,并演示模型如何据此自我修订一条回答。


核心概念清单

  • Bradley-Terry 模型在做什么
  • RLHF 的四个模型各是什么
  • KL 惩罚的双重作用
  • DPO 为什么能省掉 RM
  • reward hacking 为什么会必然发生
  • 对齐税是什么

材料

  • InstructGPT 论文(读 §3,这是 RLHF 的标准描述)
  • DPO 论文(摘要 + §4 的直觉解释)
  • Anthropic 的 Constitutional AI 论文(§2)

验收作业

  1. RLHF 数据流图:四模型,标清训练/冻结状态与调用顺序。
  2. DPO 输入说明:用一段话讲清 DPO 训练时喂什么、算什么、更新谁。
  3. 偏好数据设计:为一个具体任务设计 20 条偏好对的采集方案,含标注指南和分歧处理。
  4. reward hacking 实验(可选):设计一个模型一定会钻空子的奖励函数,说明它会怎么钻。
  5. 对齐税评估:设计一个测「对齐前后能力变化」的方案。

第 5 题通向 L3-03。


常见卡点

卡点 真相
「四个模型记不住」 策略(在训)、参考(冻结,算 KL)、奖励(冻结,给分)、价值(在训,估 baseline)
「PPO 的公式看不懂」 本课不要求。只需知道「它在做带约束的策略梯度」
「DPO 为什么等价」 数学上可以证明最优策略与奖励有一一对应。记住这个结论即可
「对齐会不会让模型变笨」 会有一点,叫对齐税。数据配比可以缓解