全部课程 / L1 基础层
L1-03 微积分与优化 101
学时 5h(3 次) 前置 无 性质 承重墙(但只学必要部分)
为什么学这门
反向传播就是链式法则。没有别的。
这门课刻意做窄:不学积分技巧,不学级数,不学多重积分。只学「梯度是什么、怎么传回去、怎么用它更新参数」。
如果你以前学过微积分,这门课可能 1 小时就能通过——直接做验收作业。
课时拆解
第 1 次(2h)导数与梯度
- 导数 = 瞬时变化率 = 斜率
- 偏导数:固定其他变量
- 梯度:所有偏导组成的向量,指向上升最快方向
- 梯度下降:往反方向走
- 学习率:步子大小
动手:用 NumPy 数值差分验证解析梯度(这是最实用的调试技能)。
第 2 次(1.5h)链式法则与反向传播
- 复合函数求导
- 计算图:前向算值,反向算梯度
- 一个两层网络的完整手推
- 为什么反向传播比数值差分快
动手:纸笔推导 y = W₂·relu(W₁x + b₁) + b₂ 对 W₁ 的梯度。这一步不能跳。
第 3 次(1.5h)优化器
- 凸与非凸:为什么深度学习的 loss 面不是碗
- SGD → Momentum → Adam
- 为什么 Adam 自适应学习率有用
- 学习率调度的直觉(warmup、cosine)
动手:在 f(x,y)=x²+10y² 上跑 SGD 和 Momentum,画轨迹对比。感受「为什么需要动量」。
核心概念清单
- 梯度指向哪个方向
- 链式法则如何串起多层
- 计算图的正向/反向各做什么
- Momentum 解决了什么问题
- 学习率过大/过小的表现
材料
- 3Blue1Brown 微积分系列第 1–4 集 + 神经网络系列第 1–2 集
- Karpathy「The spelled-out intro to neural networks and backpropagation」(视频,2.5h,可选但强烈推荐)
验收作业
- 数值梯度校验:实现一个函数,输入任意 f 和点 x,用中心差分算梯度,并与解析梯度对比。用它验证你的手推结果。
- 手推反向传播:两层 MLP 的 ∂L/∂W₁,完整写出中间步骤。拍照存档。
- 优化器对比:在 f(x,y)=x²+10y² 上,画 SGD lr=0.1、SGD lr=0.01、Momentum 三条轨迹,解释为什么 SGD 在 y 方向震荡。
- 一句话回答:为什么深度学习不用二阶方法(牛顿法)?
第 4 题答「因为算不动 Hessian」即算合格,但要说清 Hessian 是 n×n 这件事。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「链式法则绕不清」 | 从输出往回写,每一步只问「这个节点影响了谁」 |
| 「梯度消失」 | 连乘小于 1 的数会趋零。这就是残差和 LayerNorm 存在的理由(后面 L1-06 会接上) |
| 「Adam 的公式记不住」 | 只需记住:一阶动量 + 二阶动量 + 偏差修正。不必背 |