AI 学位·
全部课程 / L3 系统层

L3-07 安全与对抗

学时 5h(3 次) 前置 L3-05 性质 通识课(但做架构必修)


为什么学这门

你要设计一个「统一编排层」(L5)。编排层的权限比单个 agent 更大,所以安全问题被放大。

这门课不是让你成为安全专家,是让你在设计系统时不会留下明显的坑。


课时拆解

第 1 次(2h)Prompt 注入

  • 直接注入:用户输入里藏指令
  • 间接注入:工具返回的内容里藏指令(更危险)
  • 为什么这个问题难解(模型无法区分「数据」和「指令」)
  • 缓解:内容隔离、双模型、输出校验、最小权限
  • 实际案例:网页、文档、代码注释里的注入

动手:构造 5 个间接注入的例子,并说明每种的检测难点。

第 2 次(1.5h)越狱与对齐绕过

  • 越狱的常见模式:角色扮演、编码、分步诱导
  • 为什么对齐不是安全边界
  • 红队测试的基本方法
  • 模型卡里说的「拒绝率」意味着什么

动手:列出 6 种越狱模式,各写一个防护思路。

第 3 次(1.5h)系统层安全

  • 权限模型:agent 能读什么、写什么、执行什么
  • 沙箱:文件系统、网络、进程隔离
  • 数据泄露路径:日志、缓存、错误信息
  • 供应链:模型权重、插件、MCP server 的信任问题
  • 最小权限原则在 agent 系统里怎么落地

动手:为一个 agent 系统设计权限矩阵(角色 × 资源 × 操作)。


核心概念清单

  • 直接注入与间接注入的区别
  • 为什么注入难根治
  • 最小权限如何应用
  • 沙箱的三层隔离
  • 数据泄露的常见路径

材料

  • OWASP 的 LLM 应用安全 Top 10
  • 任一篇 prompt injection 的综述

验收作业

  1. 注入案例集:5 个间接注入例子 + 检测难点分析。
  2. 越狱模式表:6 种模式 × 防护思路。
  3. 权限矩阵:角色 × 资源 × 操作的完整表格。
  4. 威胁建模:对一个具体的 agent 系统做 STRIDE 式威胁建模。
  5. 一句话判断:为什么「让模型自己判断是否安全」不可靠?

第 3、4 题直接用于 L5 的架构设计。


常见卡点

卡点 真相
「注入为什么防不住」 因为模型看到的是同一个 token 流,没有天然的信任边界。只能在系统层做隔离
「沙箱够不够」 沙箱防的是代码执行,防不了「模型被骗着读了一个敏感文件然后写进回答」
「权限怎么设计」 默认拒绝,按需授权,每次授权可审计