全部课程 / L1 基础层
L1-04 Python 与张量 101
学时 5h(3 次) 前置 无(会基本 Python 即可) 性质 动手课
为什么学这门
你的目标是「能做架构评审」,不是「能训练模型」。但必须能跑通最小例子,否则所有判断都是纸上的。
这门课的标准很低:能读懂并改动能跑的张量代码。不需要写工程级代码。
课时拆解
第 1 次(2h)NumPy 与广播
- ndarray、shape、dtype
- 广播规则(这是最容易出错的地方)
- 索引与切片、reshape/transpose
- 矩阵乘法 @ vs 逐元素 *
动手:实现 softmax(注意数值稳定性:先减 max),实现 batched 矩阵乘。
第 2 次(1.5h)PyTorch 基础
- tensor 与 device、dtype(float32/float16/bfloat16)
- autograd:requires_grad、backward、grad
- nn.Module、nn.Parameter
- 一个最小的训练循环(前向、loss、backward、step、zero_grad)
动手:用 PyTorch 训练一个 MNIST MLP 到 97%+。
第 3 次(1.5h)读懂别人的代码
- 读一个开源小模型实现(如 nanoGPT 的 model.py 的 attention 部分)
- 学会用 shape 追踪法读代码:每行标注张量形状
- 调试技巧:print shape、断言、detach 检查
动手:给 nanoGPT 的 attention 前向代码逐行标注形状注释。
这一步是为 L2-02 铺路。你会发现「读代码」比「读书」快得多。
核心概念清单
- 广播如何对齐 shape
- autograd 在做什么(记录计算图 + 反向遍历)
- 为什么要 zero_grad
- float16 与 bfloat16 的区别(粗略即可)
- 如何用 shape 追踪读懂陌生代码
材料
- PyTorch 官方 60 分钟入门
- nanoGPT 仓库的
model.py(只读 attention 部分)
验收作业
- 数值稳定 softmax:实现一个对大数不溢出的 softmax,并用 logits=[1000, 1001, 1002] 测试。
- MNIST MLP:训练到测试准确率 ≥97%,记录训练曲线。
- 形状注释:把 nanoGPT attention 前向的每一行加上 shape 注释,提交这个文件。
- 手写训练循环:不使用
torch.optim,手写 SGD 更新,验证与 Adam 的收敛差异。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「广播报错 shape mismatch」 | 从右往左对齐,维度要么相等要么是 1。画出来就明白了 |
| 「loss.backward() 报错」 | 检查是否 detach 了中间变量,或重复 backward 未 zero_grad |
| 「读不懂 nanoGPT」 | 正常。先只看 attention 那 20 行,其余跳过 |