AI 学位·
全部课程 / L1 基础层

L1-07 信息论 101

学时 4h(2 次) 前置 L1-02(概率) 性质 承重墙(短小但关键)


为什么学这门

信息论是 AI 的度量语言。不学它,以下概念你永远只能背:

  • 交叉熵 loss(为什么是它,不是 MSE)
  • perplexity(为什么模型论文都报这个)
  • KL 散度(DPO、蒸馏、变分推断全靠它)
  • 「温度」「top-p 采样」在截断什么
  • 比特/参数(token 经济学的基础)

这门课只有 4 小时,但回报率极高。


课时拆解

第 1 次(2h)熵与交叉熵

  • 信息量:-log p(越不可能的事,信息越大)
  • 熵:平均信息量 = 不确定性
  • 交叉熵:H(p,q) = -Σ p log q
  • 关键不等式:交叉熵 ≥ 熵,差值就是 KL
  • 为什么语言模型用交叉熵

动手:计算「均匀分布」和「极度偏斜分布」的熵,画「概率 vs 熵」曲线。

第 2 次(2h)KL 与 perplexity

  • KL 散度:D(p‖q) = H(p,q) - H(p)
  • KL 不对称,所以不是距离
  • 前向 KL vs 反向 KL 的行为差异(mode-covering vs mode-seeking)
  • perplexity = exp(交叉熵),含义是「模型平均在几个选项间犹豫」
  • 应用到:RLHF 的 KL 惩罚、蒸馏、DPO

动手:给定两个分布,算 KL 两个方向的值,观察不对称。


核心概念清单

  • 熵为什么衡量不确定性
  • 交叉熵与 KL 的关系
  • 为什么模型最小化交叉熵等价于最大似然
  • perplexity 的直观含义
  • KL 惩罚在 RLHF 里防的是什么

材料

  • 3Blue1Brown「Entropy」相关视频
  • 《Information Theory》任何简明讲义的前 2 章

验收作业

  1. 熵曲线:二项分布 p 从 0 到 1,画熵的变化,标出最大值点并解释。
  2. 交叉熵 vs 熵:构造两个分布,算出 H(p)、H(p,q)、KL,验证三者关系式。
  3. perplexity 换算:某模型交叉熵 2.3 nats/token,算 perplexity,并用一句话向非技术人员解释这个数字。
  4. KL 惩罚的作用:用三句话说明 RLHF 中 KL 项在防止什么,如果去掉会发生什么。

常见卡点

卡点 真相
「熵的公式为什么有 log」 因为要满足「独立事件的信息量可加」这一条,只有 log 能做到
「nats 和 bits 区别」 只是 log 的底不同。底 e 是 nats,底 2 是 bits。差一个常数 1.44
「KL 为什么不对称」 因为它是「用 q 近似 p 的代价」,方向决定了代价算在谁身上