AI 学位·
全部课程 / L2 方法层

L2-04 微调与参数高效方法

学时 5h(3 次) 前置 L2-03 性质 工程课


为什么学这门

预训练模型是「通才」,但你用 DSH 时用的是「专才」。中间的桥就是微调。

这门课要建立的核心判断是:什么时候该微调,什么时候该用 prompt / RAG / 工具。这是实际做技术选型时最常被问错的问题。


课时拆解

第 1 次(2h)SFT 与它的边界

  • 指令微调:把「续写」变成「回答」
  • 数据格式:对话模板、loss mask(只对回答算 loss)
  • 数据质量 > 数据数量( LIMA 的结论)
  • SFT 能教什么、不能教什么(能教格式和风格,难教新知识)
  • 灾难性遗忘:为什么微调后模型变笨

动手:设计一份 50 条 SFT 数据的规格(不实际训练),说明每条数据在教什么。

第 2 次(2h)参数高效微调

  • 全量微调的成本
  • LoRA:W + BA,秩 r 的选择
  • QLoRA:4bit 量化基座 + LoRA
  • Adapter、Prefix Tuning、IA³ 的对比
  • 为什么 LoRA 能合并回原权重(推理零开销)

动手:用 peft 库对一个开源小模型做 LoRA 微调(或至少跑通配置),打印可训练参数比例。

第 3 次(1h)选型决策

  • 五种手段的对比:prompt / few-shot / RAG / 微调 / 工具调用
  • 成本、延迟、可维护性、能力上限
  • 什么时候微调是错的答案

动手:给 5 个真实场景,各选一个手段并说明理由。


核心概念清单

  • SFT 的数据格式与 loss mask
  • LoRA 的低秩假设
  • QLoRA 省的是什么
  • 灾难性遗忘的机制
  • 五种适配手段的取舍

材料

  • LoRA 论文(§1–§4)
  • QLoRA 论文(摘要 + 图 1)
  • LIMA 论文(读结论部分)

验收作业

  1. SFT 数据规格:50 条数据的说明文档,含任务类型分布、格式、难度。
  2. LoRA 实操:跑通一次 LoRA 微调,报告可训练参数占比、显存占用、训练时长。
  3. 选型矩阵:5 个场景 × 5 种手段的表格,每格写「用/不用 + 一句理由」。
  4. 遗忘实验:(可选,有算力再做)微调后测原始能力,记录下降幅度。

第 3 题是本课的核心产出,直接对应你以后的技术选型工作。


常见卡点

卡点 真相
「LoRA 的 r 选多少」 通常 8–64。r 越大越接近全量微调,但不是越大越好
「为什么微调后模型变笨」 分布偏移。新数据把原能力覆盖了。混入通用数据可缓解
「不知道该微调还是 RAG」 知识型问题用 RAG,行为/格式问题用微调