全部课程 / L2 方法层
L2-06 推理时计算
学时 5h(3 次) 前置 L2-05 性质 承重墙(通向 o1/R1)
为什么学这门
2024 年之后,AI 的进步不再只靠「训练更大」,而靠「推理时想更久」。这是一个范式转移。
这门课讲的是:如何用更多的推理算力换取更好的答案。它是理解 o1、R1、以及所有「思考模型」的前提。
对你尤其重要:DSH 里的 agent loop、多轮工具调用,本质也是推理时计算的一种形态。
课时拆解
第 1 次(2h)CoT 与采样
- 思维链:为什么「写出步骤」能提升准确率
- CoT 的三种触发:few-shot、zero-shot(「let's think step by step」)、指令微调
- self-consistency:采样多条路径,投票
- 为什么投票有效(独立误差抵消)
- 代价:token 消耗线性增长
动手:同一道数学题,分别用直接回答、CoT、CoT+5 次投票,比较准确率与 token 消耗。
第 2 次(1.5h)树搜索与验证
- best-of-n:采样 n 条,用 verifier 选最好的
- verifier 从哪来:ORM(结果奖励)vs PRM(过程奖励)
- 树搜索:beam search、MCTS 在推理时的应用
- 关键问题:验证比生成容易吗?(可验证领域 vs 开放领域)
动手:给一道有标准答案的题,实现 best-of-8 + 简单 verifier,记录提升。
第 3 次(1.5h)Test-time scaling 的边界
- 推理时计算的收益曲线:什么时候饱和
- 哪些任务受益(数学、代码)哪些不受益(常识、创作)
- 与训练时 scaling 的成本对比
- 延迟与体验的权衡(用户愿意等多久)
动手:画一张「推理 token 数 vs 准确率」的曲线,标出收益拐点。
核心概念清单
- CoT 为什么有效(至少两种解释)
- self-consistency 的假设
- ORM 与 PRM 的区别
- 什么任务适合推理时计算
- 收益饱和的原因
材料
- Wei et al.「Chain-of-Thought Prompting」(读 §1–§2)
- Wang et al.「Self-Consistency」
- Lightman et al.「Let's Verify Step by Step」(读摘要 + 图)
验收作业
- CoT 对比实验:同一组 20 道题,三种策略的准确率与 token 成本表格。
- 投票曲线:n=1..16 的 self-consistency 准确率曲线,找饱和点。
- PRM vs ORM 分析:用一段话说明为什么过程奖励在数学题上更好,在开放写作上不可行。
- 任务分类:列出 10 个任务,标注「推理时计算收益高/中/无」,并说明依据。
第 4 题直接用于你以后判断「这个场景值不值得上思考模型」。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「CoT 是不是模型真在推理」 | 有争议。行为上有效,机制上有「事后合理化」的证据。本课只需掌握行为规律 |
| 「为什么投票能提升」 | 前提是错误不相关。如果模型有系统性偏差,投票无效 |
| 「PRM 为什么难」 | 需要逐步标注,成本极高。且「好步骤」的定义在开放任务上不唯一 |