AI 学位·
全部课程 / L1 基础层

L1-02 概率统计 101

学时 5h(3 次) 前置 无 性质 承重墙


为什么学这门

三个直接用途:

  1. 交叉熵 loss 从哪来 —— 它就是最大似然的负数。不懂概率,你只能接受「模型用交叉熵」这个事实。
  2. 为什么模型输出「温度」 —— softmax + 温度采样,纯概率。
  3. 评测分数凭什么可信 —— 一个 benchmark 上 62.3% vs 63.1%,是真差异还是噪声?这需要置信区间。

第三条对你尤其重要。你在 L4-05 要设计打分卡,如果不懂统计,打分卡就是玄学。


课时拆解

第 1 次(2h)随机变量与分布

  • 随机变量、概率质量/密度函数
  • 期望、方差、协方差
  • 常见分布:伯努利、分类分布、高斯、均匀——只学这四个
  • 大数定律的直觉:样本多了,均值会稳

动手:用 NumPy 采样,画「样本量 vs 均值波动」图,直观看到 1/√n。

第 2 次(1.5h)条件概率与贝叶斯

  • 条件概率、独立性
  • 贝叶斯公式:先验、似然、后验
  • 朴素贝叶斯为什么「朴素」
  • 一个 AI 场景:为什么模型会一本正经胡说(先验太强)

动手:写一个 20 行的朴素贝叶斯文本分类器。

第 3 次(1.5h)最大似然与采样

  • 似然函数、最大似然估计
  • 从 MLE 推导交叉熵(本课最重要的一步)
  • softmax 的由来:多分类的 MLE
  • 温度采样:为什么 T 小更确定、T 大更发散

动手:手推一次「分类分布的 MLE = 最小化交叉熵」,写在纸上拍照存进进度文件。


核心概念清单

  • 期望与方差的含义
  • 为什么用 1/√n 估算误差
  • 贝叶斯公式每一项的名字
  • MLE → 交叉熵的推导链
  • 温度如何改变分布形状

材料

  • StatQuest 的「Probability」与「Maximum Likelihood」两个播放列表(挑着看)
  • 不需要买教材

验收作业

  1. 均值收敛实验:从标准正态采样,画 n=1..10000 时样本均值的波动,叠加 1/√n 理论曲线。一句话解释为什么评测集越大分数越稳。
  2. MLE 推导:纸笔推导「二分类交叉熵 = 负对数似然」,并说明为什么用 log 而不是直接用概率。
  3. 温度实验:给一个 5 类的 logits 向量,分别用 T=0.2/1.0/2.0 算 softmax,画出三个分布,解释差异。
  4. 置信区间:假设某 benchmark 500 题,模型答对 310 题,给出 95% 置信区间。回答:另一个模型答对 320 题,能否说它更强?

第 4 题是本课的真正目的。答不出来不算结课。


常见卡点

卡点 真相
「似然和概率有什么区别」 概率是固定参数看数据;似然是固定数据看参数。方向反了而已
「为什么取 log」 把连乘变连加,数值稳定,且单调不改变极值点
「置信区间公式记不住」 只需记住 p±1.96√(p(1-p)/n),够用一辈子