全部课程 / L2 方法层
L2-08 多模态
学时 5h(3 次) 前置 L2-02 性质 通识课
为什么学这门
你做内容、做数学题库,图片是绕不开的:OCR、图表理解、图片生成。
这门课的目标不是让你训练多模态模型,而是让你判断一个多模态方案行不行、贵不贵、可靠不可靠。
课时拆解
第 1 次(2h)视觉编码器
- 图像如何变成 token:patch 化
- ViT:把图像切成 16×16 的块,当 token 处理
- CLIP:对比学习,让图像和文本在同一空间
- 为什么 CLIP 能做零样本分类
- 视觉 token 的数量问题(一张图 = 多少 token?)
动手:算一张 1024×1024 图在 patch=16 时产生多少 token,对比一段 500 字文本的 token 数。
第 2 次(1.5h)多模态架构
- 三种融合方式:早期融合、晚期融合、交叉注意力
- LLaVA 式:视觉编码器 + 投影层 + LLM
- 原生多模态(GPT-4o/Gemini 路线):统一 token 空间
- 两者的取舍:拼装快 vs 原生强
- 语音:如何把音频变成 token
动手:画出 LLaVA 架构图,标清哪部分冻结、哪部分训练。
第 3 次(1.5h)能力边界与成本
- OCR 为什么仍然会错(分辨率、密集文本)
- 图表理解的失败模式
- 图像生成的扩散模型基本原理(去噪)
- 视觉 token 的成本结构
动手:设计一个「扫描件 OCR」的可靠性方案,说明如何验证与纠错。
核心概念清单
- patch 化如何工作
- CLIP 的对比学习目标
- 拼装式与原生多模态的差异
- 视觉 token 成本为什么高
- 扩散模型的基本过程
材料
- CLIP 论文(读 §2)
- LLaVA 论文(读 §3)
- 任意一篇 ViT 图解
验收作业
- token 计算:三种分辨率 × 两种 patch 大小的视觉 token 数量表。
- 架构对比:LLaVA 式与原生式的对比表(能力、成本、训练难度)。
- OCR 可靠性方案:一页纸,含预处理、双模型交叉验证、置信度阈值、人工复核触发条件。
- 失败模式清单:列出多模态模型在图表理解上的 5 种典型失败,各配一个例子。
第 3 题可直接用于你的数学题库 OCR 工作。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「CLIP 为什么能零样本」 | 因为训练时对齐了图文空间,分类变成「找最像的文本」 |
| 「投影层是干什么的」 | 把视觉特征维度对齐到 LLM 的 embedding 维度 |
| 「原生多模态强在哪」 | 早期就在同一空间训练,跨模态推理更自然。但训练成本高得多 |