全部课程 / L1 基础层
L1-01 线性代数 101
学时 5h(3 次) 前置 无 性质 承重墙(后面所有课都用)
为什么学这门
不是为了学线代。是为了让你看懂三件事:
- embedding 是什么 —— 一个向量,相似度就是夹角余弦。RAG、语义检索全建立在这上面。
- LoRA 为什么能省参数 —— 因为权重更新是低秩的。不懂秩,你只能背结论。
- MLA 为什么能省 KV cache —— DeepSeek 的核心创新之一,本质是低秩压缩。这是 L4-03 的地基。
学完这门,你看 DeepSeek 论文里的矩阵分解图,应该有「哦,就是把大矩阵拆成两个瘦的」这种直觉,而不是一串符号。
课时拆解
第 1 次(2h)向量与相似度
- 向量、范数(L1/L2)、内积
- 余弦相似度:为什么它忽略长度
- 矩阵 = 线性变换(把矩阵看成「动作」而不是「数字表」)
- 矩阵乘法的四种理解方式(重点:行视角、列视角、外积和)
动手:用 NumPy 实现 20 个词的 embedding 相似度排序,手工造数据即可。
第 2 次(1.5h)秩与分解
- 秩:矩阵「真实维度」
- 低秩近似:为什么砍掉小奇异值损失不大
- 特征分解 vs SVD
- SVD 的三个矩阵各代表什么
动手:对一个 100×50 随机矩阵做 SVD,只保留前 5 个奇异值重建,算相对误差。画一张「保留维度 vs 误差」曲线。
第 3 次(1.5h)回到 AI
- 权重矩阵的秩意味着什么
- LoRA:W + BA,其中 B 是 d×r,A 是 r×k,r 很小
- 为什么这能省 99% 参数
- 顺带看一眼 MLA 的低秩 KV 压缩(不求懂,只求有画面)
动手:用 5 行代码实现 LoRA 的 forward(不训练),打印参数量对比。
核心概念清单(结课时应能脱稿解释)
- 内积为什么能衡量相似
- 矩阵乘法为什么不是「对应位置相乘」
- 秩的几何意义
- SVD 与「用少数方向近似一个变换」
- 低秩分解为什么省参数
材料
- 3Blue1Brown《Essence of Linear Algebra》第 1–8 集(约 1.5h,够用)
- 需要查公式时用 Wikipedia,不要买教材
- LoRA 论文只读 §1–§2(约 20 分钟)
反模式:不要刷《线性代数应该这样学》。这门课的目标是直觉,不是证明能力。
验收作业(必须交,交到 90_进度/L1-01_作业.md)
- 相似度实验:造 10 个词的 8 维 embedding,写代码输出两两余弦相似度矩阵,并用一句话解释「为什么国王-男人+女人≈女王」在几何上意味着什么。
- SVD 压缩:对任意 100×50 矩阵,保留前 k 个奇异值,画出 k=1..20 的重建误差曲线,标注「误差降到 1% 需要多少维」。
- LoRA 参数账:给定 d=4096, k=4096, r=8,算出全量微调和 LoRA 的参数量,以及比例。
三题全过 = 结课。任一处卡住超过 1 小时,写进进度文件来问我。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「矩阵乘法为什么要这样定义」 | 因为它是复合两个线性变换。用「先做 A 再做 B」去理解,不要用数字去理解 |
| 「SVD 的三个矩阵看不懂」 | 只需记住:U 是输出空间的方向,V 是输入空间的方向,Σ 是每个方向的放大倍数 |
| 「低秩为什么能近似」 | 因为真实数据/权重通常集中在少数方向上。这是经验事实,不必现在证明 |