全部课程 / L2 方法层
L2-04 微调与参数高效方法
学时 5h(3 次) 前置 L2-03 性质 工程课
为什么学这门
预训练模型是「通才」,但你用 DSH 时用的是「专才」。中间的桥就是微调。
这门课要建立的核心判断是:什么时候该微调,什么时候该用 prompt / RAG / 工具。这是实际做技术选型时最常被问错的问题。
课时拆解
第 1 次(2h)SFT 与它的边界
- 指令微调:把「续写」变成「回答」
- 数据格式:对话模板、loss mask(只对回答算 loss)
- 数据质量 > 数据数量( LIMA 的结论)
- SFT 能教什么、不能教什么(能教格式和风格,难教新知识)
- 灾难性遗忘:为什么微调后模型变笨
动手:设计一份 50 条 SFT 数据的规格(不实际训练),说明每条数据在教什么。
第 2 次(2h)参数高效微调
- 全量微调的成本
- LoRA:W + BA,秩 r 的选择
- QLoRA:4bit 量化基座 + LoRA
- Adapter、Prefix Tuning、IA³ 的对比
- 为什么 LoRA 能合并回原权重(推理零开销)
动手:用 peft 库对一个开源小模型做 LoRA 微调(或至少跑通配置),打印可训练参数比例。
第 3 次(1h)选型决策
- 五种手段的对比:prompt / few-shot / RAG / 微调 / 工具调用
- 成本、延迟、可维护性、能力上限
- 什么时候微调是错的答案
动手:给 5 个真实场景,各选一个手段并说明理由。
核心概念清单
- SFT 的数据格式与 loss mask
- LoRA 的低秩假设
- QLoRA 省的是什么
- 灾难性遗忘的机制
- 五种适配手段的取舍
材料
- LoRA 论文(§1–§4)
- QLoRA 论文(摘要 + 图 1)
- LIMA 论文(读结论部分)
验收作业
- SFT 数据规格:50 条数据的说明文档,含任务类型分布、格式、难度。
- LoRA 实操:跑通一次 LoRA 微调,报告可训练参数占比、显存占用、训练时长。
- 选型矩阵:5 个场景 × 5 种手段的表格,每格写「用/不用 + 一句理由」。
- 遗忘实验:(可选,有算力再做)微调后测原始能力,记录下降幅度。
第 3 题是本课的核心产出,直接对应你以后的技术选型工作。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「LoRA 的 r 选多少」 | 通常 8–64。r 越大越接近全量微调,但不是越大越好 |
| 「为什么微调后模型变笨」 | 分布偏移。新数据把原能力覆盖了。混入通用数据可缓解 |
| 「不知道该微调还是 RAG」 | 知识型问题用 RAG,行为/格式问题用微调 |