AI 学位·
全部课程 / L3 系统层

L3-06 上下文工程

学时 5h(3 次) 前置 L3-05 性质 承重墙(通向 L5)


为什么学这门

上下文窗口是 agent 的工作内存。它有限、昂贵、且模型对它的利用并不均匀(中间的信息容易被忽略)。

这门课讲的是:怎么在有限窗口里,让模型看到最该看的东西。

这直接决定了一个 harness 好不好用。你现在用 DSH 感受到的很多「聪明」或「笨」,本质是上下文工程的差异。


课时拆解

第 1 次(2h)上下文的物理特性

  • 窗口大小 vs 有效利用率(「lost in the middle」现象)
  • 位置对注意力的影响:开头和结尾更强
  • token 成本:为什么长上下文服务贵
  • prefix caching:相同前缀如何省钱省时间
  • 上下文里放什么最有价值:指令、示例、工具、历史

动手:设计一个「上下文预算表」——给一个典型任务分配各类内容的 token 配额。

第 2 次(2h)压缩与记忆

  • 截断策略:从头砍、从尾砍、按重要性砍
  • 摘要压缩:滚动摘要的失效问题
  • 结构化记忆:把历史转成事实条目
  • 外部记忆:向量库、文件系统、数据库
  • 何时该忘:主动丢弃旧信息的判据

动手:设计一个长对话的记忆方案,说明什么进摘要、什么进向量库、什么丢弃。

第 3 次(1h)Prompt 工程的结构化部分

  • 指令的层次:系统、开发者、用户
  • few-shot 示例的选择与排序
  • 输出格式约束(schema、XML 标签、预填充)
  • 反面模式:过度指令、矛盾指令

动手:把一个模糊的 prompt 改写成结构化版本,并对比效果。


核心概念清单

  • 上下文窗口的有效利用率
  • lost in the middle 现象
  • 三种压缩策略的取舍
  • prefix caching 的前提条件
  • 什么信息该进外部记忆
  • 输出格式约束的几种手段

材料

  • 「Lost in the Middle」论文(读摘要 + 图 1)
  • Anthropic 的 context engineering 相关文章(如有)
  • 你自己用 DSH 的体感(这是最好的材料)

验收作业

  1. 上下文预算表:一个真实任务的 token 配额分配,含理由。
  2. 记忆方案:长对话场景的完整记忆设计(摘要 + 向量 + 丢弃规则)。
  3. 压缩实验:把一段 5000 token 的对话压缩到 800 token,对比压缩前后的任务成功率。
  4. prompt 重构:一个模糊 prompt 的结构化改写 + 对比。
  5. 失效分析:列出滚动摘要的 3 种失效方式。

常见卡点

卡点 真相
「窗口不是越大越好吗」 越大越贵,且中间信息利用率低。精准投喂优于全量塞入
「摘要会不会丢信息」 一定会。所以关键事实要结构化成条目,不能只靠摘要
「prefix cache 什么时候失效」 前缀一变就失效。所以系统提示要稳定,动态内容放后面