AI 学位·
全部课程 / L2 方法层

L2-06 推理时计算

学时 5h(3 次) 前置 L2-05 性质 承重墙(通向 o1/R1)


为什么学这门

2024 年之后,AI 的进步不再只靠「训练更大」,而靠「推理时想更久」。这是一个范式转移。

这门课讲的是:如何用更多的推理算力换取更好的答案。它是理解 o1、R1、以及所有「思考模型」的前提。

对你尤其重要:DSH 里的 agent loop、多轮工具调用,本质也是推理时计算的一种形态。


课时拆解

第 1 次(2h)CoT 与采样

  • 思维链:为什么「写出步骤」能提升准确率
  • CoT 的三种触发:few-shot、zero-shot(「let's think step by step」)、指令微调
  • self-consistency:采样多条路径,投票
  • 为什么投票有效(独立误差抵消)
  • 代价:token 消耗线性增长

动手:同一道数学题,分别用直接回答、CoT、CoT+5 次投票,比较准确率与 token 消耗。

第 2 次(1.5h)树搜索与验证

  • best-of-n:采样 n 条,用 verifier 选最好的
  • verifier 从哪来:ORM(结果奖励)vs PRM(过程奖励)
  • 树搜索:beam search、MCTS 在推理时的应用
  • 关键问题:验证比生成容易吗?(可验证领域 vs 开放领域)

动手:给一道有标准答案的题,实现 best-of-8 + 简单 verifier,记录提升。

第 3 次(1.5h)Test-time scaling 的边界

  • 推理时计算的收益曲线:什么时候饱和
  • 哪些任务受益(数学、代码)哪些不受益(常识、创作)
  • 与训练时 scaling 的成本对比
  • 延迟与体验的权衡(用户愿意等多久)

动手:画一张「推理 token 数 vs 准确率」的曲线,标出收益拐点。


核心概念清单

  • CoT 为什么有效(至少两种解释)
  • self-consistency 的假设
  • ORM 与 PRM 的区别
  • 什么任务适合推理时计算
  • 收益饱和的原因

材料

  • Wei et al.「Chain-of-Thought Prompting」(读 §1–§2)
  • Wang et al.「Self-Consistency」
  • Lightman et al.「Let's Verify Step by Step」(读摘要 + 图)

验收作业

  1. CoT 对比实验:同一组 20 道题,三种策略的准确率与 token 成本表格。
  2. 投票曲线:n=1..16 的 self-consistency 准确率曲线,找饱和点。
  3. PRM vs ORM 分析:用一段话说明为什么过程奖励在数学题上更好,在开放写作上不可行。
  4. 任务分类:列出 10 个任务,标注「推理时计算收益高/中/无」,并说明依据。

第 4 题直接用于你以后判断「这个场景值不值得上思考模型」。


常见卡点

卡点 真相
「CoT 是不是模型真在推理」 有争议。行为上有效,机制上有「事后合理化」的证据。本课只需掌握行为规律
「为什么投票能提升」 前提是错误不相关。如果模型有系统性偏差,投票无效
「PRM 为什么难」 需要逐步标注,成本极高。且「好步骤」的定义在开放任务上不唯一