全部课程 / L4 判断层
L4-02 路线对比方法论
学时 5h(3 次) 前置 L3-03 性质 承重墙(你「怎么打分」这个问题的方法论答案)
为什么学这门
你想比较 DeepSeek 和其他家的路线,并且想「打分」。
但大多数路线对比都是错的,错在四个地方:
- 拿不同规格的模型比(70B 比 8B)
- 拿不同 benchmark 的分数比
- 只看能力不看成本
- 把「工程取舍」当成「技术水平高低」
这门课教你一套能站得住的对比方法。学完你能设计出别人挑不出毛病的对比方案。
课时拆解
第 1 次(2h)对比的四条铁律
铁律一:控制变量
- 同参数量?同激活参数量?同训练 token 数?同推理预算?
- MoE 模型要按「激活参数」还是「总参数」比?(答案:两个都要报)
铁律二:多维度,不合并
- 能力、成本、延迟、可部署性、生态、可靠性
- 不要急着算总分。总分是决策时才需要的
铁律三:区分「能力」与「效率」
- 同样能力下谁更便宜 = 效率
- 同样成本下谁更强 = 能力
- 这两件事经常被混为一谈
铁律四:声明边界
- 这个对比适用于什么场景,不适用于什么场景
动手:找一份公开的模型对比表,用四条铁律逐条检查,列出它的问题。
第 2 次(2h)对比的维度设计
- 能力维度:知识、推理、代码、长文、多语言、指令遵循、工具使用
- 成本维度:训练成本、推理成本(输入/输出分开)、显存需求
- 工程维度:部署难度、生态支持、微调友好度
- 风险维度:许可证、数据合规、供应商锁定
每个维度要能落到可测量的指标上。
动手:为「比较三个开源模型的路线」设计一个 6 维度的对比框架。
第 3 次(1h)从对比到结论
- 什么时候可以说「A 优于 B」
- 什么时候只能说「A 和 B 各有取舍」
- 加权打分的陷阱(权重是主观的,总分掩盖分歧)
- 正确做法:先给分维度结论,再给场景化建议
动手:把一个「总分 8.5 vs 8.2」的结论,改写成「在 X 场景下选 A,在 Y 场景下选 B」的形式。
核心概念清单
- 控制变量的四个层面
- 为什么不能急着算总分
- 能力与效率的区别
- 成本要分输入/输出
- 场景化结论优于总分结论
材料
- 任何两份模型技术报告(对比它们的报告口径)
- 你的 L3-03 笔记(评测的失效模式)
验收作业
- 铁律检查:对一份公开对比表做四条铁律的逐条审查,列出至少 5 个问题。
- 对比框架:6 维度 × 每维度 2–3 个可测指标的完整框架。
- 改写练习:把一个总分式结论改写成场景化结论。
- 反例设计:设计一个「看起来公平其实不公平」的对比,并说明陷阱在哪。
- 一页纸方法论:把你的对比方法论压缩到一页,能直接用于工作。
第 5 题是这门课的交付物。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「总得有个排名吧」 | 排名在具体决策场景下才有意义。抽象排名是伪需求 |
| 「权重怎么定」 | 权重来自场景,不来自偏好。先说场景,再定权重 |
| 「MoE 怎么比」 | 报三个数:总参数、激活参数、等效稠密模型。三者缺一不可 |