全部课程 / L1 基础层
L1-02 概率统计 101
学时 5h(3 次) 前置 无 性质 承重墙
为什么学这门
三个直接用途:
- 交叉熵 loss 从哪来 —— 它就是最大似然的负数。不懂概率,你只能接受「模型用交叉熵」这个事实。
- 为什么模型输出「温度」 —— softmax + 温度采样,纯概率。
- 评测分数凭什么可信 —— 一个 benchmark 上 62.3% vs 63.1%,是真差异还是噪声?这需要置信区间。
第三条对你尤其重要。你在 L4-05 要设计打分卡,如果不懂统计,打分卡就是玄学。
课时拆解
第 1 次(2h)随机变量与分布
- 随机变量、概率质量/密度函数
- 期望、方差、协方差
- 常见分布:伯努利、分类分布、高斯、均匀——只学这四个
- 大数定律的直觉:样本多了,均值会稳
动手:用 NumPy 采样,画「样本量 vs 均值波动」图,直观看到 1/√n。
第 2 次(1.5h)条件概率与贝叶斯
- 条件概率、独立性
- 贝叶斯公式:先验、似然、后验
- 朴素贝叶斯为什么「朴素」
- 一个 AI 场景:为什么模型会一本正经胡说(先验太强)
动手:写一个 20 行的朴素贝叶斯文本分类器。
第 3 次(1.5h)最大似然与采样
- 似然函数、最大似然估计
- 从 MLE 推导交叉熵(本课最重要的一步)
- softmax 的由来:多分类的 MLE
- 温度采样:为什么 T 小更确定、T 大更发散
动手:手推一次「分类分布的 MLE = 最小化交叉熵」,写在纸上拍照存进进度文件。
核心概念清单
- 期望与方差的含义
- 为什么用 1/√n 估算误差
- 贝叶斯公式每一项的名字
- MLE → 交叉熵的推导链
- 温度如何改变分布形状
材料
- StatQuest 的「Probability」与「Maximum Likelihood」两个播放列表(挑着看)
- 不需要买教材
验收作业
- 均值收敛实验:从标准正态采样,画 n=1..10000 时样本均值的波动,叠加 1/√n 理论曲线。一句话解释为什么评测集越大分数越稳。
- MLE 推导:纸笔推导「二分类交叉熵 = 负对数似然」,并说明为什么用 log 而不是直接用概率。
- 温度实验:给一个 5 类的 logits 向量,分别用 T=0.2/1.0/2.0 算 softmax,画出三个分布,解释差异。
- 置信区间:假设某 benchmark 500 题,模型答对 310 题,给出 95% 置信区间。回答:另一个模型答对 320 题,能否说它更强?
第 4 题是本课的真正目的。答不出来不算结课。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「似然和概率有什么区别」 | 概率是固定参数看数据;似然是固定数据看参数。方向反了而已 |
| 「为什么取 log」 | 把连乘变连加,数值稳定,且单调不改变极值点 |
| 「置信区间公式记不住」 | 只需记住 p±1.96√(p(1-p)/n),够用一辈子 |