全部课程 / L1 基础层
L1-06 神经网络 101
学时 5h(3 次) 前置 L1-03(微积分)、L1-04(张量) 性质 承重墙
为什么学这门
这门课是从「传统 ML」跨到「深度学习」的那一步,也是唯一一门必须手写代码的基础课。
标准很明确:你能用纯 NumPy 写一个两层网络,在 MNIST 上跑到 95%+,并且能解释每一行。做到这一步,后面读 Transformer 就是「更复杂的网络」,不是「天书」。
课时拆解
第 1 次(2h)从感知机到 MLP
- 感知机与它的局限(XOR 问题)
- 隐藏层为什么解决问题
- 激活函数: sigmoid → tanh → ReLU 的演化理由
- 万能近似定理(知道结论即可)
动手:用 NumPy 实现一个 MLP 的前向传播,在 XOR 上验证。
第 2 次(2h)反向传播与训练
- 完整手写反向传播(不用 autograd)
- 梯度检查
- 权重初始化:为什么不能全零、Xavier/He 的直觉
- 训练循环:mini-batch、shuffle、epoch
动手:纯 NumPy 两层网络, MNIST 到 95%+。
第 3 次(1h)训练为什么会失败
- 梯度消失/爆炸的机制
- 归一化: BatchNorm → LayerNorm(为什么 Transformer 用 LayerNorm)
- 残差连接为什么能训深层
- 学习率与初始化的耦合
动手:把网络堆到 10 层不加残差,观察 loss 不降;加上残差,恢复。这是本课最有冲击力的实验。
核心概念清单
- 为什么需要非线性激活
- 反向传播的每一步在算什么
- 为什么不能用全零初始化
- 梯度消失的数学原因
- 残差连接为什么让深网络可训
材料
- Karpathy「Neural Networks: Zero to Hero」第 1–2 集(强推,跟着敲)
- Michael Nielsen《Neural Networks and Deep Learning》第 1–2 章(免费在线)
验收作业
- 纯 NumPy MNIST:不借助任何深度学习框架,两层 MLP 达到 ≥95% 测试准确率。提交代码。
- 梯度检查:实现数值梯度检查,证明你的反向传播正确(相对误差 <1e-6)。
- 深度实验:10 层网络,分别在有/无残差下训练,贴两条 loss 曲线,用一段话解释差异。
- 初始化对比:全零、标准正态、Xavier 三种初始化,各跑一次,记录结果。
第 1 题是硬门槛。做不到就停在这里,不要往下走 L2。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「反向传播推不出来」 | 一个矩阵乘法的梯度就是另一个矩阵的转置相乘。先把一个线性层推对,再叠加 |
| 「loss 不降」 | 90% 的情况是:学习率太大、忘了 zero_grad、标签编码错、数据没归一化 |
| 「10 层网络完全不动」 | 这不是 bug,这就是梯度消失。加上残差会立刻好 |
| 「手写太慢」 | 一次手写,后面所有框架代码你都能秒懂。这 2 小时是全学位回报率最高的 |