AI 学位·
全部课程 / L1 基础层

L1-06 神经网络 101

学时 5h(3 次) 前置 L1-03(微积分)、L1-04(张量) 性质 承重墙


为什么学这门

这门课是从「传统 ML」跨到「深度学习」的那一步,也是唯一一门必须手写代码的基础课。

标准很明确:你能用纯 NumPy 写一个两层网络,在 MNIST 上跑到 95%+,并且能解释每一行。做到这一步,后面读 Transformer 就是「更复杂的网络」,不是「天书」。


课时拆解

第 1 次(2h)从感知机到 MLP

  • 感知机与它的局限(XOR 问题)
  • 隐藏层为什么解决问题
  • 激活函数: sigmoid → tanh → ReLU 的演化理由
  • 万能近似定理(知道结论即可)

动手:用 NumPy 实现一个 MLP 的前向传播,在 XOR 上验证。

第 2 次(2h)反向传播与训练

  • 完整手写反向传播(不用 autograd)
  • 梯度检查
  • 权重初始化:为什么不能全零、Xavier/He 的直觉
  • 训练循环:mini-batch、shuffle、epoch

动手:纯 NumPy 两层网络, MNIST 到 95%+。

第 3 次(1h)训练为什么会失败

  • 梯度消失/爆炸的机制
  • 归一化: BatchNorm → LayerNorm(为什么 Transformer 用 LayerNorm)
  • 残差连接为什么能训深层
  • 学习率与初始化的耦合

动手:把网络堆到 10 层不加残差,观察 loss 不降;加上残差,恢复。这是本课最有冲击力的实验。


核心概念清单

  • 为什么需要非线性激活
  • 反向传播的每一步在算什么
  • 为什么不能用全零初始化
  • 梯度消失的数学原因
  • 残差连接为什么让深网络可训

材料

  • Karpathy「Neural Networks: Zero to Hero」第 1–2 集(强推,跟着敲)
  • Michael Nielsen《Neural Networks and Deep Learning》第 1–2 章(免费在线)

验收作业

  1. 纯 NumPy MNIST:不借助任何深度学习框架,两层 MLP 达到 ≥95% 测试准确率。提交代码。
  2. 梯度检查:实现数值梯度检查,证明你的反向传播正确(相对误差 <1e-6)。
  3. 深度实验:10 层网络,分别在有/无残差下训练,贴两条 loss 曲线,用一段话解释差异。
  4. 初始化对比:全零、标准正态、Xavier 三种初始化,各跑一次,记录结果。

第 1 题是硬门槛。做不到就停在这里,不要往下走 L2。


常见卡点

卡点 真相
「反向传播推不出来」 一个矩阵乘法的梯度就是另一个矩阵的转置相乘。先把一个线性层推对,再叠加
「loss 不降」 90% 的情况是:学习率太大、忘了 zero_grad、标签编码错、数据没归一化
「10 层网络完全不动」 这不是 bug,这就是梯度消失。加上残差会立刻好
「手写太慢」 一次手写,后面所有框架代码你都能秒懂。这 2 小时是全学位回报率最高的