全部课程 / L3 系统层
L3-02 推理服务与优化
学时 6h(3 次) 前置 L3-01 性质 承重墙(直接决定你的 API 账单)
为什么学这门
这是整个学位里对你日常最有用的一门课。
你每天都在用 API。你知道 DeepSeek 便宜,但便宜在哪?这门课会告诉你:MLA、MoE、PagedAttention、continuous batching、prefix caching——每一个都在省钱,省的是不同的东西。
学完这门,你能看懂任何一份推理服务的定价逻辑,并能判断「这个报价合不合理」。
课时拆解
第 1 次(2h)推理的两个阶段与 KV cache
- prefill:处理整个 prompt,并行,compute-bound
- decode:逐 token 生成,串行,memory-bound
- 两者的成本特征完全不同——这是定价分「输入/输出」的根本原因
- KV cache:为什么要缓存(避免重复计算)
- KV cache 的大小公式与它为什么是瓶颈
- 显存墙:batch 大小受 KV cache 限制
动手:算一个具体例子——13B 模型、4k 上下文、batch=16,KV cache 占多少显存?能开多大 batch?
第 2 次(2h)batching 与调度
- 静态 batching 的浪费(短请求等长请求)
- continuous batching:请求级调度,做完就走
- PagedAttention:把 KV cache 分页,消除碎片
- prefix caching:相同前缀复用(prefill 的大杀器)
- 投机解码(speculative decoding):小模型草稿 + 大模型验证
- 每种优化省的是什么:显存、延迟、还是吞吐
动手:画一张对比表——6 种优化技术 × 省显存/降延迟/提吞吐/实现复杂度。
第 3 次(2h)模型侧优化
- 量化:INT8/INT4/FP8,权重量化 vs KV cache 量化
- MoE:只激活部分专家,省 FLOPs 不省显存
- MLA(DeepSeek):把 KV 压成低秩潜向量,直接砍 KV cache
- GQA/MQA:减少 KV 头数,和 MLA 是同一目标的不同解法
- 蒸馏:小模型模仿大模型
- 这些优化如何叠加,以及各自的代价
动手:对比 MHA / GQA / MQA / MLA 在同样配置下的 KV cache 大小,列表。
核心概念清单
- prefill 与 decode 的成本差异
- KV cache 公式
- continuous batching 解决了什么
- PagedAttention 解决的是碎片还是容量
- MoE 省什么、不省什么
- MLA 与 GQA 的共同目标
- 输入 token 为什么比输出 token 便宜
材料
- 《Efficiently Scaling Transformer Inference》(读 §2–§3)
- vLLM 的 PagedAttention 论文(读 §4)
- DeepSeek-V2 论文的 MLA 部分(读 §2.1,这是本课的高潮)
验收作业
- KV cache 账本:13B / 70B 两个模型,在 ctx=4k/32k/128k、batch=1/16/64 下的 KV cache 大小表。
- 优化技术对比表:6 种技术 × 4 个维度的评分表。
- 注意力变体对比:MHA/GQA/MQA/MLA 的 KV cache 大小与相对成本计算。
- 定价分析:拿一份真实的 API 报价(如 DeepSeek 与某竞品),解释输入/输出价格差异的合理性,并指出哪一方在哪个环节更省。
- 一句话回答:为什么长上下文服务特别贵?
第 4 题是本课的落地产出。做完这道题,你对 API 成本就有了结构化的理解。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「prefill 和 decode 为什么要分开说」 | 因为瓶颈不同。prefill 吃算力,decode 吃带宽。优化手段也不同 |
| 「PagedAttention 是什么」 | 把 KV cache 像操作系统内存一样分页管理,减少碎片浪费 |
| 「MoE 省 FLOPs 为什么服务还是贵」 | 因为所有专家都要加载进显存。省的是计算,不是存储 |
| 「MLA 到底做了什么」 | 不缓存完整的 K 和 V,只缓存一个低维潜向量,用的时候再投影回来。KV cache 能小一个数量级 |