AI 学位·
全部课程 / L2 方法层

L2-07 推理模型与强化学习

学时 6h(4 次) 前置 L2-06 性质 承重墙(本学位的智力高峰之一)


为什么学这门

o1 和 R1 代表了 2024–2025 年最重要的技术转向:用 RL 训练「思考过程」本身。

这门课是整个学位里最硬的一门。学完它,你才能理解 DeepSeek R1 的完整技术叙事,而这正是 L4-03 的核心。

重要:这门课不要求你会写 RL 代码。要求是能讲清 R1 的训练流程和它为什么有效。


课时拆解

第 1 次(1.5h)RL 基础

  • MDP:状态、动作、奖励、策略
  • 策略梯度:为什么「好动作」要被强化
  • 优势函数:比平均好多少
  • PPO 的裁剪:防止更新过猛
  • 与监督学习的本质差异(没有标准答案,只有好坏信号)

动手:在网格世界或 bandit 问题上跑一个 REINFORCE,观察策略收敛。

第 2 次(1.5h)R1-Zero:纯 RL 的涌现

  • 起点:基座模型,不做 SFT
  • 奖励:规则化奖励(答案对/错 + 格式对/错)
  • GRPO:用组内平均代替 critic,省掉价值模型
  • 结果:模型自发学会长链思考、自我检查、回溯
  • 「aha moment」现象
  • 代价:可读性差、语言混杂

动手:讲清 GRPO 与 PPO 的差别在哪(省掉了什么),用一段话写出来。

第 3 次(2h)R1:完整流程

  • 第一步:冷启动 SFT(用少量高质量长 CoT 数据)
  • 第二步:面向推理的 RL(同 R1-Zero,但加语言一致性奖励)
  • 第三步:拒绝采样 + SFT(用 RL 模型生成数据,筛选后重新 SFT)
  • 第四步:全场景 RL(推理 + 通用对齐)
  • 为什么需要四步而不是一步
  • 蒸馏:把 R1 的能力蒸馏到小模型

动手:画出 R1 四阶段流程图,标注每阶段的数据来源和模型状态。

第 4 次(1h)可验证奖励与它的边界

  • RLVR:哪些领域有可靠 verifier(数学、代码、形式化证明)
  • 开放领域怎么办(写作、咨询、创意)
  • 过程奖励模型的角色
  • 长度爆炸问题与长度惩罚
  • 这条路线的天花板在哪

动手:列 8 个领域,标注「适合 RLVR / 需要别的办法」,并说明理由。


核心概念清单

  • 策略梯度与监督学习的差异
  • 优势函数的作用
  • GRPO 省掉了什么
  • R1 四阶段各解决什么问题
  • 规则化奖励 vs 模型化奖励
  • RLVR 的适用边界

材料

  • DeepSeek-R1 论文(必读,§2 是核心)
  • DeepSeekMath 论文(GRPO 出处,只读 §4.1)
  • o1 的系统卡(了解 OpenAI 的公开说法,信息量不大但要对齐)

验收作业

  1. REINFORCE 实现:在 bandit 或网格世界上跑通,画出奖励曲线。
  2. GRPO vs PPO:一页纸对比表,含模型数量、显存、稳定性、适用场景。
  3. R1 流程图:四阶段完整图,标数据流。
  4. 四阶段必要性论证:回答「能不能直接从基座做一次 RL 就完事?」,用 R1-Zero 的现象说明为什么不能。
  5. RLVR 边界:8 个领域的判断表。

第 4 题是本课的核心。答得出来,说明你真的理解了这套路线。


常见卡点

卡点 真相
「RL 数学太多」 本课不需要推导。抓住「好坏信号 → 调整概率」这一条主线
「GRPO 的组内归一化」 同一道题采样多条,用这一组的平均分做 baseline。省掉了 critic 模型
「为什么规则奖励就够」 因为数学题答案可验证。这是 R1 能成立的前提,也是它的局限
「aha moment 是真的吗」 论文报告了这一现象。是否是「顿悟」还是「格式收敛」有争议,但要了解这个说法