AI 学位·
全部课程 / L1 基础层

L1-03 微积分与优化 101

学时 5h(3 次) 前置 无 性质 承重墙(但只学必要部分)


为什么学这门

反向传播就是链式法则。没有别的。

这门课刻意做窄:不学积分技巧,不学级数,不学多重积分。只学「梯度是什么、怎么传回去、怎么用它更新参数」。

如果你以前学过微积分,这门课可能 1 小时就能通过——直接做验收作业。


课时拆解

第 1 次(2h)导数与梯度

  • 导数 = 瞬时变化率 = 斜率
  • 偏导数:固定其他变量
  • 梯度:所有偏导组成的向量,指向上升最快方向
  • 梯度下降:往反方向走
  • 学习率:步子大小

动手:用 NumPy 数值差分验证解析梯度(这是最实用的调试技能)。

第 2 次(1.5h)链式法则与反向传播

  • 复合函数求导
  • 计算图:前向算值,反向算梯度
  • 一个两层网络的完整手推
  • 为什么反向传播比数值差分快

动手:纸笔推导 y = W₂·relu(W₁x + b₁) + b₂ 对 W₁ 的梯度。这一步不能跳。

第 3 次(1.5h)优化器

  • 凸与非凸:为什么深度学习的 loss 面不是碗
  • SGD → Momentum → Adam
  • 为什么 Adam 自适应学习率有用
  • 学习率调度的直觉(warmup、cosine)

动手:在 f(x,y)=x²+10y² 上跑 SGD 和 Momentum,画轨迹对比。感受「为什么需要动量」。


核心概念清单

  • 梯度指向哪个方向
  • 链式法则如何串起多层
  • 计算图的正向/反向各做什么
  • Momentum 解决了什么问题
  • 学习率过大/过小的表现

材料

  • 3Blue1Brown 微积分系列第 1–4 集 + 神经网络系列第 1–2 集
  • Karpathy「The spelled-out intro to neural networks and backpropagation」(视频,2.5h,可选但强烈推荐)

验收作业

  1. 数值梯度校验:实现一个函数,输入任意 f 和点 x,用中心差分算梯度,并与解析梯度对比。用它验证你的手推结果。
  2. 手推反向传播:两层 MLP 的 ∂L/∂W₁,完整写出中间步骤。拍照存档。
  3. 优化器对比:在 f(x,y)=x²+10y² 上,画 SGD lr=0.1、SGD lr=0.01、Momentum 三条轨迹,解释为什么 SGD 在 y 方向震荡。
  4. 一句话回答:为什么深度学习不用二阶方法(牛顿法)?

第 4 题答「因为算不动 Hessian」即算合格,但要说清 Hessian 是 n×n 这件事。


常见卡点

卡点 真相
「链式法则绕不清」 从输出往回写,每一步只问「这个节点影响了谁」
「梯度消失」 连乘小于 1 的数会趋零。这就是残差和 LayerNorm 存在的理由(后面 L1-06 会接上)
「Adam 的公式记不住」 只需记住:一阶动量 + 二阶动量 + 偏差修正。不必背