AI 学位·
全部课程 / L3 系统层

L3-02 推理服务与优化

学时 6h(3 次) 前置 L3-01 性质 承重墙(直接决定你的 API 账单)


为什么学这门

这是整个学位里对你日常最有用的一门课。

你每天都在用 API。你知道 DeepSeek 便宜,但便宜在哪?这门课会告诉你:MLA、MoE、PagedAttention、continuous batching、prefix caching——每一个都在省钱,省的是不同的东西。

学完这门,你能看懂任何一份推理服务的定价逻辑,并能判断「这个报价合不合理」。


课时拆解

第 1 次(2h)推理的两个阶段与 KV cache

  • prefill:处理整个 prompt,并行,compute-bound
  • decode:逐 token 生成,串行,memory-bound
  • 两者的成本特征完全不同——这是定价分「输入/输出」的根本原因
  • KV cache:为什么要缓存(避免重复计算)
  • KV cache 的大小公式与它为什么是瓶颈
  • 显存墙:batch 大小受 KV cache 限制

动手:算一个具体例子——13B 模型、4k 上下文、batch=16,KV cache 占多少显存?能开多大 batch?

第 2 次(2h)batching 与调度

  • 静态 batching 的浪费(短请求等长请求)
  • continuous batching:请求级调度,做完就走
  • PagedAttention:把 KV cache 分页,消除碎片
  • prefix caching:相同前缀复用(prefill 的大杀器)
  • 投机解码(speculative decoding):小模型草稿 + 大模型验证
  • 每种优化省的是什么:显存、延迟、还是吞吐

动手:画一张对比表——6 种优化技术 × 省显存/降延迟/提吞吐/实现复杂度。

第 3 次(2h)模型侧优化

  • 量化:INT8/INT4/FP8,权重量化 vs KV cache 量化
  • MoE:只激活部分专家,省 FLOPs 不省显存
  • MLA(DeepSeek):把 KV 压成低秩潜向量,直接砍 KV cache
  • GQA/MQA:减少 KV 头数,和 MLA 是同一目标的不同解法
  • 蒸馏:小模型模仿大模型
  • 这些优化如何叠加,以及各自的代价

动手:对比 MHA / GQA / MQA / MLA 在同样配置下的 KV cache 大小,列表。


核心概念清单

  • prefill 与 decode 的成本差异
  • KV cache 公式
  • continuous batching 解决了什么
  • PagedAttention 解决的是碎片还是容量
  • MoE 省什么、不省什么
  • MLA 与 GQA 的共同目标
  • 输入 token 为什么比输出 token 便宜

材料

  • 《Efficiently Scaling Transformer Inference》(读 §2–§3)
  • vLLM 的 PagedAttention 论文(读 §4)
  • DeepSeek-V2 论文的 MLA 部分(读 §2.1,这是本课的高潮)

验收作业

  1. KV cache 账本:13B / 70B 两个模型,在 ctx=4k/32k/128k、batch=1/16/64 下的 KV cache 大小表。
  2. 优化技术对比表:6 种技术 × 4 个维度的评分表。
  3. 注意力变体对比:MHA/GQA/MQA/MLA 的 KV cache 大小与相对成本计算。
  4. 定价分析:拿一份真实的 API 报价(如 DeepSeek 与某竞品),解释输入/输出价格差异的合理性,并指出哪一方在哪个环节更省。
  5. 一句话回答:为什么长上下文服务特别贵?

第 4 题是本课的落地产出。做完这道题,你对 API 成本就有了结构化的理解。


常见卡点

卡点 真相
「prefill 和 decode 为什么要分开说」 因为瓶颈不同。prefill 吃算力,decode 吃带宽。优化手段也不同
「PagedAttention 是什么」 把 KV cache 像操作系统内存一样分页管理,减少碎片浪费
「MoE 省 FLOPs 为什么服务还是贵」 因为所有专家都要加载进显存。省的是计算,不是存储
「MLA 到底做了什么」 不缓存完整的 K 和 V,只缓存一个低维潜向量,用的时候再投影回来。KV cache 能小一个数量级