AI 学位·
全部课程 / L3 系统层

L3-03 评测体系

学时 5h(3 次) 前置 L2-05 性质 承重墙(通向 L4 全部判断)


为什么学这门

这门课是你做「打分」这件事的技术基础。

你在 L4 要设计打分卡、比较路线。如果没有这门课,你的打分就是主观印象。有了这门课,你的打分有误差棒、有失效分析、有可复现性。

这门课的核心结论会让你不舒服:大部分公开 benchmark 的数字都不可直接比较。


课时拆解

第 1 次(2h)Benchmark 是怎么构造的

  • 能力维度拆解:知识、推理、代码、指令遵循、长上下文、多语言
  • 静态数据集 vs 动态评测(如 LMSYS 的众包对战)
  • 题目来源:考试题、竞赛题、人工编写、模型生成
  • 难度分布设计
  • 构造一个 benchmark 的完整流程(这是你要学的真本事)

动手:为一个具体能力(如「初中数学应用题」)设计 20 道评测题的规格。

第 2 次(1.5h)分数为什么不可信

  • 数据污染:训练集里混进了测试题
  • 过拟合 benchmark:针对性优化
  • prompt 敏感性:换个模板分数差 5 个点
  • 解码参数:temperature、max_tokens 影响结果
  • 评测代码 bug:答案提取错误(极常见)
  • 统计显著性:1000 题上 2 个点的差异可能只是噪声

动手:用 L1-02 的置信区间知识,算「500 题上 62% vs 65% 是否显著」。

第 3 次(1.5h)LLM-as-judge 与人工评测

  • LLM 做裁判的可行性:与人类一致性有多高
  • 位置偏差、长度偏差、自我偏好
  • 缓解手段:交换顺序、多裁判、rubric 化
  • 人工评测的设计:标注指南、一致性(Kappa)、成本
  • Arena 式两两对比 vs 绝对打分

动手:设计一个 LLM-as-judge 的评分 rubric(5 档,每档有明确判据),并用 3 个例子测试。


核心概念清单

  • 一个 benchmark 的构造流程
  • 数据污染的三种来源
  • prompt 敏感性有多大
  • 统计显著性如何判断
  • LLM-as-judge 的三种偏差
  • rubric 化评分的要点

材料

  • HELM 论文(读 §2,看它如何做多维评测)
  • 「Judging LLM-as-a-Judge」(读 §3 的偏差分析)
  • 任一模型的评测章节,批判性地读

验收作业

  1. Benchmark 规格:20 道题的完整规格,含能力点、难度、评分标准。
  2. 显著性计算:三个对比案例,各给出置信区间与结论。
  3. 污染检测:设计一个检测污染的方案(至少 3 种手段)。
  4. Judge rubric:5 档评分标准 + 3 个测试例子 + 一致性检验方法。
  5. 批判性阅读:找一份模型发布博客的评测表,指出其中 3 处不可直接比较的地方。

第 4、5 题直接是 L4-05 的前置技能。


常见卡点

卡点 真相
「为什么分数不可比」 因为 prompt、解码参数、答案提取、数据集版本全都可能不同
「污染怎么防」 防不住,只能检测。n-gram 重叠、困惑度异常、改写测试都是手段
「LLM judge 靠谱吗」 与人类一致性约 80%,够做初筛,不够做最终裁决
「rubric 怎么写」 每档必须有「可观察的行为差异」,不能写「较好/较差」