全部课程 / L4 判断层
L4-05 打分卡设计
学时 6h(4 次) 前置 L4-02、L3-03 性质 承重墙 / 不允许跳过(必须产出一份真实打分卡)
为什么学这门
你明确问了「该怎么打分」。这门课就是完整答案。
核心认知:打分卡的价值不在于给出一个分数,而在于让分歧变得可见。
一份好的打分卡,能让两个持不同意见的人,准确指出他们在哪一项上分歧,而不是笼统地说「我觉得 A 好」。
课时拆解
第 1 次(1.5h)打分卡的四个设计原则
原则一:维度正交
- 两个维度如果总是一起变,就该合并
- 检查方法:看是否会出现「A 高 B 也一定高」
原则二:每档有行为锚点
- 不写「很好/较好/一般」
- 写「能做到 X 且不需要 Y」
- 例:工具调用能力
- 5:能自主规划 5 步以上任务,失败后能换策略
- 3:能完成 3 步以内任务,失败需人工提示
- 1:只能单次调用
原则三:可观察、可复现
- 换一个人来打分,结果应该接近
- 需要:测试用例、评分指南、分歧处理规则
原则四:分开「测量」与「加权」
- 先测,后加权
- 加权是决策,测量是事实
动手:把一个模糊的「好用/不好用」评价,改写成 3 个有行为锚点的维度。
第 2 次(2h)设计维度
针对「比较 harness / 模型 / 路线」,建议的维度池:
能力类
- 复杂任务完成度(多步、长程)
- 工具使用准确率
- 指令遵循精度
- 长上下文利用
- 错误恢复能力
效率类
- 单位任务 token 成本
- 延迟(P50/P95)
- 上下文效率(有效信息/token)
工程类
- 可扩展性(加工具/加模型)
- 可观测性(能否定位失败)
- 可维护性(改一个行为的成本)
风险类
- 权限边界清晰度
- 失败的可控性(会不会造成破坏)
- 供应商锁定
动手:从中选 8 个维度,写出每个的 5 档行为锚点。
第 3 次(1.5h)评分与一致性
- 打分流程:独立打分 → 对比 → 讨论分歧 → 复议
- 一致性指标:Cohen's Kappa / 简单一致率
- 分歧处理:分歧大的项说明锚点不清,要改锚点而不是强行统一
- 分数呈现:雷达图、分维度条形图,不要只给总分
动手:自己给两个对象打分,隔一天再打一次,算自己的一致性。
第 4 次(1h)从分数到决策**
- 场景化权重:不同场景权重不同
- 阈值思维:不是「谁分高」,而是「是否过线」
- 一票否决项:安全、合规类通常是一票否决
- 结论表述:「在 X 场景下,A 因 Y 项过线且 Z 项更优而胜出」
动手:用你的打分卡做一次完整决策,写出结论段落。
核心概念清单
- 维度正交怎么检查
- 行为锚点与模糊描述的差别
- 测量与加权为什么要分开
- 打分者一致性怎么算
- 阈值思维 vs 排名思维
材料
- 你 L3-03 的 rubric 作业(直接复用)
- 任何一份成熟的评估框架(如 NIST 的 AI RMF,只看结构)
验收作业(这是本课的全部重点)
交付一份完整的打分卡文档,含:
- 维度表:8 个维度,每个含定义、5 档行为锚点、测量方法
- 测试用例:每个维度至少 2 个可执行的测试用例
- 评分指南:打分流程、分歧处理、一致性要求
- 权重方案:至少 3 个场景的权重配置
- 实际打分:对至少 2 个真实对象(两个模型或两个 harness)完成打分
- 一致性报告:你的两次打分的一致率
- 决策结论:一个场景下的选型结论
这份文档不是练习,是可复用的资产。以后每次要比较什么,直接改维度和权重。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「维度太多打不完」 | 8 个是上限。超过就说明没抓住重点 |
| 「锚点写不具体」 | 问自己:换个人能凭这句话打出一样的分吗?不能就还不具体 |
| 「分数算出来不符合直觉」 | 说明维度或权重有问题,不要改分数去凑直觉 |
| 「一致性太低」 | 锚点不清。回去改锚点,不要靠讨论强行统一 |