全部课程 / L3 系统层
L3-06 上下文工程
学时 5h(3 次) 前置 L3-05 性质 承重墙(通向 L5)
为什么学这门
上下文窗口是 agent 的工作内存。它有限、昂贵、且模型对它的利用并不均匀(中间的信息容易被忽略)。
这门课讲的是:怎么在有限窗口里,让模型看到最该看的东西。
这直接决定了一个 harness 好不好用。你现在用 DSH 感受到的很多「聪明」或「笨」,本质是上下文工程的差异。
课时拆解
第 1 次(2h)上下文的物理特性
- 窗口大小 vs 有效利用率(「lost in the middle」现象)
- 位置对注意力的影响:开头和结尾更强
- token 成本:为什么长上下文服务贵
- prefix caching:相同前缀如何省钱省时间
- 上下文里放什么最有价值:指令、示例、工具、历史
动手:设计一个「上下文预算表」——给一个典型任务分配各类内容的 token 配额。
第 2 次(2h)压缩与记忆
- 截断策略:从头砍、从尾砍、按重要性砍
- 摘要压缩:滚动摘要的失效问题
- 结构化记忆:把历史转成事实条目
- 外部记忆:向量库、文件系统、数据库
- 何时该忘:主动丢弃旧信息的判据
动手:设计一个长对话的记忆方案,说明什么进摘要、什么进向量库、什么丢弃。
第 3 次(1h)Prompt 工程的结构化部分
- 指令的层次:系统、开发者、用户
- few-shot 示例的选择与排序
- 输出格式约束(schema、XML 标签、预填充)
- 反面模式:过度指令、矛盾指令
动手:把一个模糊的 prompt 改写成结构化版本,并对比效果。
核心概念清单
- 上下文窗口的有效利用率
- lost in the middle 现象
- 三种压缩策略的取舍
- prefix caching 的前提条件
- 什么信息该进外部记忆
- 输出格式约束的几种手段
材料
- 「Lost in the Middle」论文(读摘要 + 图 1)
- Anthropic 的 context engineering 相关文章(如有)
- 你自己用 DSH 的体感(这是最好的材料)
验收作业
- 上下文预算表:一个真实任务的 token 配额分配,含理由。
- 记忆方案:长对话场景的完整记忆设计(摘要 + 向量 + 丢弃规则)。
- 压缩实验:把一段 5000 token 的对话压缩到 800 token,对比压缩前后的任务成功率。
- prompt 重构:一个模糊 prompt 的结构化改写 + 对比。
- 失效分析:列出滚动摘要的 3 种失效方式。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「窗口不是越大越好吗」 | 越大越贵,且中间信息利用率低。精准投喂优于全量塞入 |
| 「摘要会不会丢信息」 | 一定会。所以关键事实要结构化成条目,不能只靠摘要 |
| 「prefix cache 什么时候失效」 | 前缀一变就失效。所以系统提示要稳定,动态内容放后面 |