全部课程 / L1 基础层
L1-07 信息论 101
学时 4h(2 次) 前置 L1-02(概率) 性质 承重墙(短小但关键)
为什么学这门
信息论是 AI 的度量语言。不学它,以下概念你永远只能背:
- 交叉熵 loss(为什么是它,不是 MSE)
- perplexity(为什么模型论文都报这个)
- KL 散度(DPO、蒸馏、变分推断全靠它)
- 「温度」「top-p 采样」在截断什么
- 比特/参数(token 经济学的基础)
这门课只有 4 小时,但回报率极高。
课时拆解
第 1 次(2h)熵与交叉熵
- 信息量:-log p(越不可能的事,信息越大)
- 熵:平均信息量 = 不确定性
- 交叉熵:H(p,q) = -Σ p log q
- 关键不等式:交叉熵 ≥ 熵,差值就是 KL
- 为什么语言模型用交叉熵
动手:计算「均匀分布」和「极度偏斜分布」的熵,画「概率 vs 熵」曲线。
第 2 次(2h)KL 与 perplexity
- KL 散度:D(p‖q) = H(p,q) - H(p)
- KL 不对称,所以不是距离
- 前向 KL vs 反向 KL 的行为差异(mode-covering vs mode-seeking)
- perplexity = exp(交叉熵),含义是「模型平均在几个选项间犹豫」
- 应用到:RLHF 的 KL 惩罚、蒸馏、DPO
动手:给定两个分布,算 KL 两个方向的值,观察不对称。
核心概念清单
- 熵为什么衡量不确定性
- 交叉熵与 KL 的关系
- 为什么模型最小化交叉熵等价于最大似然
- perplexity 的直观含义
- KL 惩罚在 RLHF 里防的是什么
材料
- 3Blue1Brown「Entropy」相关视频
- 《Information Theory》任何简明讲义的前 2 章
验收作业
- 熵曲线:二项分布 p 从 0 到 1,画熵的变化,标出最大值点并解释。
- 交叉熵 vs 熵:构造两个分布,算出 H(p)、H(p,q)、KL,验证三者关系式。
- perplexity 换算:某模型交叉熵 2.3 nats/token,算 perplexity,并用一句话向非技术人员解释这个数字。
- KL 惩罚的作用:用三句话说明 RLHF 中 KL 项在防止什么,如果去掉会发生什么。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「熵的公式为什么有 log」 | 因为要满足「独立事件的信息量可加」这一条,只有 log 能做到 |
| 「nats 和 bits 区别」 | 只是 log 的底不同。底 e 是 nats,底 2 是 bits。差一个常数 1.44 |
| 「KL 为什么不对称」 | 因为它是「用 q 近似 p 的代价」,方向决定了代价算在谁身上 |