全部课程 / L2 方法层
L2-07 推理模型与强化学习
学时 6h(4 次) 前置 L2-06 性质 承重墙(本学位的智力高峰之一)
为什么学这门
o1 和 R1 代表了 2024–2025 年最重要的技术转向:用 RL 训练「思考过程」本身。
这门课是整个学位里最硬的一门。学完它,你才能理解 DeepSeek R1 的完整技术叙事,而这正是 L4-03 的核心。
重要:这门课不要求你会写 RL 代码。要求是能讲清 R1 的训练流程和它为什么有效。
课时拆解
第 1 次(1.5h)RL 基础
- MDP:状态、动作、奖励、策略
- 策略梯度:为什么「好动作」要被强化
- 优势函数:比平均好多少
- PPO 的裁剪:防止更新过猛
- 与监督学习的本质差异(没有标准答案,只有好坏信号)
动手:在网格世界或 bandit 问题上跑一个 REINFORCE,观察策略收敛。
第 2 次(1.5h)R1-Zero:纯 RL 的涌现
- 起点:基座模型,不做 SFT
- 奖励:规则化奖励(答案对/错 + 格式对/错)
- GRPO:用组内平均代替 critic,省掉价值模型
- 结果:模型自发学会长链思考、自我检查、回溯
- 「aha moment」现象
- 代价:可读性差、语言混杂
动手:讲清 GRPO 与 PPO 的差别在哪(省掉了什么),用一段话写出来。
第 3 次(2h)R1:完整流程
- 第一步:冷启动 SFT(用少量高质量长 CoT 数据)
- 第二步:面向推理的 RL(同 R1-Zero,但加语言一致性奖励)
- 第三步:拒绝采样 + SFT(用 RL 模型生成数据,筛选后重新 SFT)
- 第四步:全场景 RL(推理 + 通用对齐)
- 为什么需要四步而不是一步
- 蒸馏:把 R1 的能力蒸馏到小模型
动手:画出 R1 四阶段流程图,标注每阶段的数据来源和模型状态。
第 4 次(1h)可验证奖励与它的边界
- RLVR:哪些领域有可靠 verifier(数学、代码、形式化证明)
- 开放领域怎么办(写作、咨询、创意)
- 过程奖励模型的角色
- 长度爆炸问题与长度惩罚
- 这条路线的天花板在哪
动手:列 8 个领域,标注「适合 RLVR / 需要别的办法」,并说明理由。
核心概念清单
- 策略梯度与监督学习的差异
- 优势函数的作用
- GRPO 省掉了什么
- R1 四阶段各解决什么问题
- 规则化奖励 vs 模型化奖励
- RLVR 的适用边界
材料
- DeepSeek-R1 论文(必读,§2 是核心)
- DeepSeekMath 论文(GRPO 出处,只读 §4.1)
- o1 的系统卡(了解 OpenAI 的公开说法,信息量不大但要对齐)
验收作业
- REINFORCE 实现:在 bandit 或网格世界上跑通,画出奖励曲线。
- GRPO vs PPO:一页纸对比表,含模型数量、显存、稳定性、适用场景。
- R1 流程图:四阶段完整图,标数据流。
- 四阶段必要性论证:回答「能不能直接从基座做一次 RL 就完事?」,用 R1-Zero 的现象说明为什么不能。
- RLVR 边界:8 个领域的判断表。
第 4 题是本课的核心。答得出来,说明你真的理解了这套路线。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「RL 数学太多」 | 本课不需要推导。抓住「好坏信号 → 调整概率」这一条主线 |
| 「GRPO 的组内归一化」 | 同一道题采样多条,用这一组的平均分做 baseline。省掉了 critic 模型 |
| 「为什么规则奖励就够」 | 因为数学题答案可验证。这是 R1 能成立的前提,也是它的局限 |
| 「aha moment 是真的吗」 | 论文报告了这一现象。是否是「顿悟」还是「格式收敛」有争议,但要了解这个说法 |