全部课程 / L3 系统层
L3-03 评测体系
学时 5h(3 次) 前置 L2-05 性质 承重墙(通向 L4 全部判断)
为什么学这门
这门课是你做「打分」这件事的技术基础。
你在 L4 要设计打分卡、比较路线。如果没有这门课,你的打分就是主观印象。有了这门课,你的打分有误差棒、有失效分析、有可复现性。
这门课的核心结论会让你不舒服:大部分公开 benchmark 的数字都不可直接比较。
课时拆解
第 1 次(2h)Benchmark 是怎么构造的
- 能力维度拆解:知识、推理、代码、指令遵循、长上下文、多语言
- 静态数据集 vs 动态评测(如 LMSYS 的众包对战)
- 题目来源:考试题、竞赛题、人工编写、模型生成
- 难度分布设计
- 构造一个 benchmark 的完整流程(这是你要学的真本事)
动手:为一个具体能力(如「初中数学应用题」)设计 20 道评测题的规格。
第 2 次(1.5h)分数为什么不可信
- 数据污染:训练集里混进了测试题
- 过拟合 benchmark:针对性优化
- prompt 敏感性:换个模板分数差 5 个点
- 解码参数:temperature、max_tokens 影响结果
- 评测代码 bug:答案提取错误(极常见)
- 统计显著性:1000 题上 2 个点的差异可能只是噪声
动手:用 L1-02 的置信区间知识,算「500 题上 62% vs 65% 是否显著」。
第 3 次(1.5h)LLM-as-judge 与人工评测
- LLM 做裁判的可行性:与人类一致性有多高
- 位置偏差、长度偏差、自我偏好
- 缓解手段:交换顺序、多裁判、rubric 化
- 人工评测的设计:标注指南、一致性(Kappa)、成本
- Arena 式两两对比 vs 绝对打分
动手:设计一个 LLM-as-judge 的评分 rubric(5 档,每档有明确判据),并用 3 个例子测试。
核心概念清单
- 一个 benchmark 的构造流程
- 数据污染的三种来源
- prompt 敏感性有多大
- 统计显著性如何判断
- LLM-as-judge 的三种偏差
- rubric 化评分的要点
材料
- HELM 论文(读 §2,看它如何做多维评测)
- 「Judging LLM-as-a-Judge」(读 §3 的偏差分析)
- 任一模型的评测章节,批判性地读
验收作业
- Benchmark 规格:20 道题的完整规格,含能力点、难度、评分标准。
- 显著性计算:三个对比案例,各给出置信区间与结论。
- 污染检测:设计一个检测污染的方案(至少 3 种手段)。
- Judge rubric:5 档评分标准 + 3 个测试例子 + 一致性检验方法。
- 批判性阅读:找一份模型发布博客的评测表,指出其中 3 处不可直接比较的地方。
第 4、5 题直接是 L4-05 的前置技能。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「为什么分数不可比」 | 因为 prompt、解码参数、答案提取、数据集版本全都可能不同 |
| 「污染怎么防」 | 防不住,只能检测。n-gram 重叠、困惑度异常、改写测试都是手段 |
| 「LLM judge 靠谱吗」 | 与人类一致性约 80%,够做初筛,不够做最终裁决 |
| 「rubric 怎么写」 | 每档必须有「可观察的行为差异」,不能写「较好/较差」 |