AI 学位·
全部课程 / L2 方法层

L2-08 多模态

学时 5h(3 次) 前置 L2-02 性质 通识课


为什么学这门

你做内容、做数学题库,图片是绕不开的:OCR、图表理解、图片生成。

这门课的目标不是让你训练多模态模型,而是让你判断一个多模态方案行不行、贵不贵、可靠不可靠。


课时拆解

第 1 次(2h)视觉编码器

  • 图像如何变成 token:patch 化
  • ViT:把图像切成 16×16 的块,当 token 处理
  • CLIP:对比学习,让图像和文本在同一空间
  • 为什么 CLIP 能做零样本分类
  • 视觉 token 的数量问题(一张图 = 多少 token?)

动手:算一张 1024×1024 图在 patch=16 时产生多少 token,对比一段 500 字文本的 token 数。

第 2 次(1.5h)多模态架构

  • 三种融合方式:早期融合、晚期融合、交叉注意力
  • LLaVA 式:视觉编码器 + 投影层 + LLM
  • 原生多模态(GPT-4o/Gemini 路线):统一 token 空间
  • 两者的取舍:拼装快 vs 原生强
  • 语音:如何把音频变成 token

动手:画出 LLaVA 架构图,标清哪部分冻结、哪部分训练。

第 3 次(1.5h)能力边界与成本

  • OCR 为什么仍然会错(分辨率、密集文本)
  • 图表理解的失败模式
  • 图像生成的扩散模型基本原理(去噪)
  • 视觉 token 的成本结构

动手:设计一个「扫描件 OCR」的可靠性方案,说明如何验证与纠错。


核心概念清单

  • patch 化如何工作
  • CLIP 的对比学习目标
  • 拼装式与原生多模态的差异
  • 视觉 token 成本为什么高
  • 扩散模型的基本过程

材料

  • CLIP 论文(读 §2)
  • LLaVA 论文(读 §3)
  • 任意一篇 ViT 图解

验收作业

  1. token 计算:三种分辨率 × 两种 patch 大小的视觉 token 数量表。
  2. 架构对比:LLaVA 式与原生式的对比表(能力、成本、训练难度)。
  3. OCR 可靠性方案:一页纸,含预处理、双模型交叉验证、置信度阈值、人工复核触发条件。
  4. 失败模式清单:列出多模态模型在图表理解上的 5 种典型失败,各配一个例子。

第 3 题可直接用于你的数学题库 OCR 工作。


常见卡点

卡点 真相
「CLIP 为什么能零样本」 因为训练时对齐了图文空间,分类变成「找最像的文本」
「投影层是干什么的」 把视觉特征维度对齐到 LLM 的 embedding 维度
「原生多模态强在哪」 早期就在同一空间训练,跨模态推理更自然。但训练成本高得多