AI 学位·
全部课程 / L4 判断层

L4-02 路线对比方法论

学时 5h(3 次) 前置 L3-03 性质 承重墙(你「怎么打分」这个问题的方法论答案)


为什么学这门

你想比较 DeepSeek 和其他家的路线,并且想「打分」。

但大多数路线对比都是错的,错在四个地方:

  1. 拿不同规格的模型比(70B 比 8B)
  2. 拿不同 benchmark 的分数比
  3. 只看能力不看成本
  4. 把「工程取舍」当成「技术水平高低」

这门课教你一套能站得住的对比方法。学完你能设计出别人挑不出毛病的对比方案。


课时拆解

第 1 次(2h)对比的四条铁律

铁律一:控制变量

  • 同参数量?同激活参数量?同训练 token 数?同推理预算?
  • MoE 模型要按「激活参数」还是「总参数」比?(答案:两个都要报)

铁律二:多维度,不合并

  • 能力、成本、延迟、可部署性、生态、可靠性
  • 不要急着算总分。总分是决策时才需要的

铁律三:区分「能力」与「效率」

  • 同样能力下谁更便宜 = 效率
  • 同样成本下谁更强 = 能力
  • 这两件事经常被混为一谈

铁律四:声明边界

  • 这个对比适用于什么场景,不适用于什么场景

动手:找一份公开的模型对比表,用四条铁律逐条检查,列出它的问题。

第 2 次(2h)对比的维度设计

  • 能力维度:知识、推理、代码、长文、多语言、指令遵循、工具使用
  • 成本维度:训练成本、推理成本(输入/输出分开)、显存需求
  • 工程维度:部署难度、生态支持、微调友好度
  • 风险维度:许可证、数据合规、供应商锁定

每个维度要能落到可测量的指标上。

动手:为「比较三个开源模型的路线」设计一个 6 维度的对比框架。

第 3 次(1h)从对比到结论

  • 什么时候可以说「A 优于 B」
  • 什么时候只能说「A 和 B 各有取舍」
  • 加权打分的陷阱(权重是主观的,总分掩盖分歧)
  • 正确做法:先给分维度结论,再给场景化建议

动手:把一个「总分 8.5 vs 8.2」的结论,改写成「在 X 场景下选 A,在 Y 场景下选 B」的形式。


核心概念清单

  • 控制变量的四个层面
  • 为什么不能急着算总分
  • 能力与效率的区别
  • 成本要分输入/输出
  • 场景化结论优于总分结论

材料

  • 任何两份模型技术报告(对比它们的报告口径)
  • 你的 L3-03 笔记(评测的失效模式)

验收作业

  1. 铁律检查:对一份公开对比表做四条铁律的逐条审查,列出至少 5 个问题。
  2. 对比框架:6 维度 × 每维度 2–3 个可测指标的完整框架。
  3. 改写练习:把一个总分式结论改写成场景化结论。
  4. 反例设计:设计一个「看起来公平其实不公平」的对比,并说明陷阱在哪。
  5. 一页纸方法论:把你的对比方法论压缩到一页,能直接用于工作。

第 5 题是这门课的交付物。


常见卡点

卡点 真相
「总得有个排名吧」 排名在具体决策场景下才有意义。抽象排名是伪需求
「权重怎么定」 权重来自场景,不来自偏好。先说场景,再定权重
「MoE 怎么比」 报三个数:总参数、激活参数、等效稠密模型。三者缺一不可