全部课程 / L3 系统层
L3-07 安全与对抗
学时 5h(3 次) 前置 L3-05 性质 通识课(但做架构必修)
为什么学这门
你要设计一个「统一编排层」(L5)。编排层的权限比单个 agent 更大,所以安全问题被放大。
这门课不是让你成为安全专家,是让你在设计系统时不会留下明显的坑。
课时拆解
第 1 次(2h)Prompt 注入
- 直接注入:用户输入里藏指令
- 间接注入:工具返回的内容里藏指令(更危险)
- 为什么这个问题难解(模型无法区分「数据」和「指令」)
- 缓解:内容隔离、双模型、输出校验、最小权限
- 实际案例:网页、文档、代码注释里的注入
动手:构造 5 个间接注入的例子,并说明每种的检测难点。
第 2 次(1.5h)越狱与对齐绕过
- 越狱的常见模式:角色扮演、编码、分步诱导
- 为什么对齐不是安全边界
- 红队测试的基本方法
- 模型卡里说的「拒绝率」意味着什么
动手:列出 6 种越狱模式,各写一个防护思路。
第 3 次(1.5h)系统层安全
- 权限模型:agent 能读什么、写什么、执行什么
- 沙箱:文件系统、网络、进程隔离
- 数据泄露路径:日志、缓存、错误信息
- 供应链:模型权重、插件、MCP server 的信任问题
- 最小权限原则在 agent 系统里怎么落地
动手:为一个 agent 系统设计权限矩阵(角色 × 资源 × 操作)。
核心概念清单
- 直接注入与间接注入的区别
- 为什么注入难根治
- 最小权限如何应用
- 沙箱的三层隔离
- 数据泄露的常见路径
材料
- OWASP 的 LLM 应用安全 Top 10
- 任一篇 prompt injection 的综述
验收作业
- 注入案例集:5 个间接注入例子 + 检测难点分析。
- 越狱模式表:6 种模式 × 防护思路。
- 权限矩阵:角色 × 资源 × 操作的完整表格。
- 威胁建模:对一个具体的 agent 系统做 STRIDE 式威胁建模。
- 一句话判断:为什么「让模型自己判断是否安全」不可靠?
第 3、4 题直接用于 L5 的架构设计。
常见卡点
| 卡点 | 真相 |
|---|---|
| 「注入为什么防不住」 | 因为模型看到的是同一个 token 流,没有天然的信任边界。只能在系统层做隔离 |
| 「沙箱够不够」 | 沙箱防的是代码执行,防不了「模型被骗着读了一个敏感文件然后写进回答」 |
| 「权限怎么设计」 | 默认拒绝,按需授权,每次授权可审计 |