AI 学位·
全部课程 / L1 基础层

L1-04 Python 与张量 101

学时 5h(3 次) 前置 无(会基本 Python 即可) 性质 动手课


为什么学这门

你的目标是「能做架构评审」,不是「能训练模型」。但必须能跑通最小例子,否则所有判断都是纸上的。

这门课的标准很低:能读懂并改动能跑的张量代码。不需要写工程级代码。


课时拆解

第 1 次(2h)NumPy 与广播

  • ndarray、shape、dtype
  • 广播规则(这是最容易出错的地方)
  • 索引与切片、reshape/transpose
  • 矩阵乘法 @ vs 逐元素 *

动手:实现 softmax(注意数值稳定性:先减 max),实现 batched 矩阵乘。

第 2 次(1.5h)PyTorch 基础

  • tensor 与 device、dtype(float32/float16/bfloat16)
  • autograd:requires_grad、backward、grad
  • nn.Module、nn.Parameter
  • 一个最小的训练循环(前向、loss、backward、step、zero_grad)

动手:用 PyTorch 训练一个 MNIST MLP 到 97%+。

第 3 次(1.5h)读懂别人的代码

  • 读一个开源小模型实现(如 nanoGPT 的 model.py 的 attention 部分)
  • 学会用 shape 追踪法读代码:每行标注张量形状
  • 调试技巧:print shape、断言、detach 检查

动手:给 nanoGPT 的 attention 前向代码逐行标注形状注释。

这一步是为 L2-02 铺路。你会发现「读代码」比「读书」快得多。


核心概念清单

  • 广播如何对齐 shape
  • autograd 在做什么(记录计算图 + 反向遍历)
  • 为什么要 zero_grad
  • float16 与 bfloat16 的区别(粗略即可)
  • 如何用 shape 追踪读懂陌生代码

材料

  • PyTorch 官方 60 分钟入门
  • nanoGPT 仓库的 model.py(只读 attention 部分)

验收作业

  1. 数值稳定 softmax:实现一个对大数不溢出的 softmax,并用 logits=[1000, 1001, 1002] 测试。
  2. MNIST MLP:训练到测试准确率 ≥97%,记录训练曲线。
  3. 形状注释:把 nanoGPT attention 前向的每一行加上 shape 注释,提交这个文件。
  4. 手写训练循环:不使用 torch.optim,手写 SGD 更新,验证与 Adam 的收敛差异。

常见卡点

卡点 真相
「广播报错 shape mismatch」 从右往左对齐,维度要么相等要么是 1。画出来就明白了
「loss.backward() 报错」 检查是否 detach 了中间变量,或重复 backward 未 zero_grad
「读不懂 nanoGPT」 正常。先只看 attention 那 20 行,其余跳过