AI 学位·
全部课程 / L4 判断层

L4-05 打分卡设计

学时 6h(4 次) 前置 L4-02、L3-03 性质 承重墙 / 不允许跳过(必须产出一份真实打分卡)


为什么学这门

你明确问了「该怎么打分」。这门课就是完整答案。

核心认知:打分卡的价值不在于给出一个分数,而在于让分歧变得可见。

一份好的打分卡,能让两个持不同意见的人,准确指出他们在哪一项上分歧,而不是笼统地说「我觉得 A 好」。


课时拆解

第 1 次(1.5h)打分卡的四个设计原则

原则一:维度正交

  • 两个维度如果总是一起变,就该合并
  • 检查方法:看是否会出现「A 高 B 也一定高」

原则二:每档有行为锚点

  • 不写「很好/较好/一般」
  • 写「能做到 X 且不需要 Y」
  • 例:工具调用能力
    • 5:能自主规划 5 步以上任务,失败后能换策略
    • 3:能完成 3 步以内任务,失败需人工提示
    • 1:只能单次调用

原则三:可观察、可复现

  • 换一个人来打分,结果应该接近
  • 需要:测试用例、评分指南、分歧处理规则

原则四:分开「测量」与「加权」

  • 先测,后加权
  • 加权是决策,测量是事实

动手:把一个模糊的「好用/不好用」评价,改写成 3 个有行为锚点的维度。

第 2 次(2h)设计维度

针对「比较 harness / 模型 / 路线」,建议的维度池:

能力类

  • 复杂任务完成度(多步、长程)
  • 工具使用准确率
  • 指令遵循精度
  • 长上下文利用
  • 错误恢复能力

效率类

  • 单位任务 token 成本
  • 延迟(P50/P95)
  • 上下文效率(有效信息/token)

工程类

  • 可扩展性(加工具/加模型)
  • 可观测性(能否定位失败)
  • 可维护性(改一个行为的成本)

风险类

  • 权限边界清晰度
  • 失败的可控性(会不会造成破坏)
  • 供应商锁定

动手:从中选 8 个维度,写出每个的 5 档行为锚点。

第 3 次(1.5h)评分与一致性

  • 打分流程:独立打分 → 对比 → 讨论分歧 → 复议
  • 一致性指标:Cohen's Kappa / 简单一致率
  • 分歧处理:分歧大的项说明锚点不清,要改锚点而不是强行统一
  • 分数呈现:雷达图、分维度条形图,不要只给总分

动手:自己给两个对象打分,隔一天再打一次,算自己的一致性。

第 4 次(1h)从分数到决策**

  • 场景化权重:不同场景权重不同
  • 阈值思维:不是「谁分高」,而是「是否过线」
  • 一票否决项:安全、合规类通常是一票否决
  • 结论表述:「在 X 场景下,A 因 Y 项过线且 Z 项更优而胜出」

动手:用你的打分卡做一次完整决策,写出结论段落。


核心概念清单

  • 维度正交怎么检查
  • 行为锚点与模糊描述的差别
  • 测量与加权为什么要分开
  • 打分者一致性怎么算
  • 阈值思维 vs 排名思维

材料

  • 你 L3-03 的 rubric 作业(直接复用)
  • 任何一份成熟的评估框架(如 NIST 的 AI RMF,只看结构)

验收作业(这是本课的全部重点)

交付一份完整的打分卡文档,含:

  1. 维度表:8 个维度,每个含定义、5 档行为锚点、测量方法
  2. 测试用例:每个维度至少 2 个可执行的测试用例
  3. 评分指南:打分流程、分歧处理、一致性要求
  4. 权重方案:至少 3 个场景的权重配置
  5. 实际打分:对至少 2 个真实对象(两个模型或两个 harness)完成打分
  6. 一致性报告:你的两次打分的一致率
  7. 决策结论:一个场景下的选型结论

这份文档不是练习,是可复用的资产。以后每次要比较什么,直接改维度和权重。


常见卡点

卡点 真相
「维度太多打不完」 8 个是上限。超过就说明没抓住重点
「锚点写不具体」 问自己:换个人能凭这句话打出一样的分吗?不能就还不具体
「分数算出来不符合直觉」 说明维度或权重有问题,不要改分数去凑直觉
「一致性太低」 锚点不清。回去改锚点,不要靠讨论强行统一