AI 学位·
全部课程 / L1 基础层

L1-01 线性代数 101

学时 5h(3 次) 前置 无 性质 承重墙(后面所有课都用)


为什么学这门

不是为了学线代。是为了让你看懂三件事:

  1. embedding 是什么 —— 一个向量,相似度就是夹角余弦。RAG、语义检索全建立在这上面。
  2. LoRA 为什么能省参数 —— 因为权重更新是低秩的。不懂秩,你只能背结论。
  3. MLA 为什么能省 KV cache —— DeepSeek 的核心创新之一,本质是低秩压缩。这是 L4-03 的地基。

学完这门,你看 DeepSeek 论文里的矩阵分解图,应该有「哦,就是把大矩阵拆成两个瘦的」这种直觉,而不是一串符号。


课时拆解

第 1 次(2h)向量与相似度

  • 向量、范数(L1/L2)、内积
  • 余弦相似度:为什么它忽略长度
  • 矩阵 = 线性变换(把矩阵看成「动作」而不是「数字表」)
  • 矩阵乘法的四种理解方式(重点:行视角、列视角、外积和)

动手:用 NumPy 实现 20 个词的 embedding 相似度排序,手工造数据即可。

第 2 次(1.5h)秩与分解

  • 秩:矩阵「真实维度」
  • 低秩近似:为什么砍掉小奇异值损失不大
  • 特征分解 vs SVD
  • SVD 的三个矩阵各代表什么

动手:对一个 100×50 随机矩阵做 SVD,只保留前 5 个奇异值重建,算相对误差。画一张「保留维度 vs 误差」曲线。

第 3 次(1.5h)回到 AI

  • 权重矩阵的秩意味着什么
  • LoRA:W + BA,其中 B 是 d×r,A 是 r×k,r 很小
  • 为什么这能省 99% 参数
  • 顺带看一眼 MLA 的低秩 KV 压缩(不求懂,只求有画面)

动手:用 5 行代码实现 LoRA 的 forward(不训练),打印参数量对比。


核心概念清单(结课时应能脱稿解释)

  • 内积为什么能衡量相似
  • 矩阵乘法为什么不是「对应位置相乘」
  • 秩的几何意义
  • SVD 与「用少数方向近似一个变换」
  • 低秩分解为什么省参数

材料

  • 3Blue1Brown《Essence of Linear Algebra》第 1–8 集(约 1.5h,够用)
  • 需要查公式时用 Wikipedia,不要买教材
  • LoRA 论文只读 §1–§2(约 20 分钟)

反模式:不要刷《线性代数应该这样学》。这门课的目标是直觉,不是证明能力。


验收作业(必须交,交到 90_进度/L1-01_作业.md)

  1. 相似度实验:造 10 个词的 8 维 embedding,写代码输出两两余弦相似度矩阵,并用一句话解释「为什么国王-男人+女人≈女王」在几何上意味着什么。
  2. SVD 压缩:对任意 100×50 矩阵,保留前 k 个奇异值,画出 k=1..20 的重建误差曲线,标注「误差降到 1% 需要多少维」。
  3. LoRA 参数账:给定 d=4096, k=4096, r=8,算出全量微调和 LoRA 的参数量,以及比例。

三题全过 = 结课。任一处卡住超过 1 小时,写进进度文件来问我。


常见卡点

卡点 真相
「矩阵乘法为什么要这样定义」 因为它是复合两个线性变换。用「先做 A 再做 B」去理解,不要用数字去理解
「SVD 的三个矩阵看不懂」 只需记住:U 是输出空间的方向,V 是输入空间的方向,Σ 是每个方向的放大倍数
「低秩为什么能近似」 因为真实数据/权重通常集中在少数方向上。这是经验事实,不必现在证明