全部课程 / L4 判断层
L4-03 DeepSeek 路线解剖
学时 6h(4 次) 前置 L2-07、L4-02 性质 承重墙(本学位的一个重点)
为什么学这门
你问「DeepSeek 涉及到的这些领域」。这门课就是系统答案。
但目标不是崇拜,是理解取舍。DeepSeek 的每一个技术选择,都是在「有限算力」这个约束下的最优解。理解这个约束,你才能判断:同样的思路在别的约束下还成立吗?
重要提示:本课涉及的具体数字(训练成本、参数配置、benchmark 分数)变化很快,且常被误传。所有数字必须回到论文原文核对,不要采信二手转述。论文在 arxiv 上可以直接取。
课时拆解
第 1 次(1.5h)约束决定了路线
- 起点约束:算力受限(出口管制)、预算有限、必须开源获取生态
- 这三个约束如何推导出后续所有选择
- 对比:OpenAI 的约束是什么?Google 的约束是什么?
- 核心洞察:技术路线是约束的函数,不是能力的函数
动手:画一张「约束 → 技术选择」的推导图,至少三条链。
第 2 次(2h)架构创新
- MLA(多头潜在注意力):把 KV 压成低维潜向量
- 解决什么:KV cache 太大,长上下文服务成本高
- 代价:多了一次投影计算,实现复杂
- 与 GQA/MQA 的关系:同一目标的不同解法
- 细粒度 MoE + 共享专家
- 解决什么:同样算力下要更大容量
- 代价:显存占用高、路由复杂
- 无辅助损失的负载均衡(用 bias 调节而非辅助 loss)
- MTP(多 token 预测)
- 解决什么:训练信号密度、推理加速潜力
- FP8 混合精度训练
- 解决什么:显存与带宽
- 难点:数值稳定性,需要精细的缩放策略
动手:为每个创新填一张卡片——解决什么问题、代价是什么、什么条件下不划算。
第 3 次(1.5h)训练与 RL 路线
- 预训练:数据配比、长上下文扩展策略
- 后训练:R1 的四阶段(回顾 L2-07)
- GRPO 的工程价值:省掉 critic,显存友好
- 蒸馏路线:把小模型也拉上来
- 成本叙事:为什么能把价格打到这个水平(要区分「训练成本」和「推理成本」)
动手:列出 DeepSeek 降本的 6 个手段,标注每个手段省的是训练成本还是推理成本。
第 4 次(1h)批判性审视
- 哪些是真正的创新,哪些是工程集成
- 开源策略的动机与代价
- 这套路线的可复制性:别人能照做吗?为什么?
- 这套路线的天花板:哪里会撞墙
- 二手报道常犯的三个错误
动手:写一段 300 字的「反方观点」——如果要在技术上批评 DeepSeek 路线,你会说什么?
核心概念清单
- 三个约束如何推导出技术选择
- MLA 解决什么、代价是什么
- 细粒度 MoE 与共享专家的作用
- FP8 训练的难点
- GRPO 的工程价值
- 训练成本与推理成本的区别
材料(按顺序读)
- DeepSeek-V2 论文 — 重点 §2.1(MLA)
- DeepSeek-V3 技术报告 — 重点 §2(架构)、§3(训练)、§4(INFRA)
- DeepSeek-R1 论文 — 重点 §2(四阶段)
- DeepSeekMath 论文 — 重点 §4.1(GRPO)
- 后续版本(V3.1/V3.2 等)的技术报告 — 看演进方向
读法:每篇先读摘要和架构图,再读你关心的那一节。不要通读。
验收作业
- 约束推导图:三条「约束 → 选择」的完整链条。
- 创新卡片:MLA / MoE / MTP / FP8 四张卡片,各含问题、代价、适用条件。
- 降本清单:6 个手段 × 省训练还是省推理 × 幅度量级。
- 数字核对表:列出你看到的 5 个关于 DeepSeek 的常见说法,逐个回原文核对,标注「属实/有偏差/错误」。
- 反方观点:300 字技术批评。
- 可复制性判断:一页纸回答「另一个团队在同样约束下能复制这套路线吗」。
第 4 题是本课的核心训练。做完你会对「AI 领域的二手信息」产生健康的怀疑。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「MLA 的公式看不懂」 | 只需抓住:KV 不直接存,存一个低维潜向量,用时投影回来 |
| 「无辅助损失怎么均衡」 | 用每个专家的历史负载调整路由 bias,不写进 loss |
| 「训练成本 550 万美元是真的吗」 | 要看清它包含什么、不包含什么(通常只算最后一次训练的 GPU 租金) |
| 「为什么他们要开源」 | 生态、人才、话语权。不是慈善 |