输入层
清洗、归一化、策略分类器。目标不是“拦住所有攻击”，而是让显而易见的攻击无法低成本成功。它是减压阀，不是授权机制。
A FIELD GUIDE TO AI SECURITY
AI安全，
从理解攻击面开始。
不是让模型“拒绝更多”，而是让系统“失控更少”。AI安全不是给模型加一个过滤器，而是给整个系统划定行为边界。
一份从系统行为出发的入门评审手册
A CHANGE OF LENS
最危险的AI风险，往往不在模型“说了什么”，而在系统“做了什么”。
攻击面行为边界纵深防御
01 / RISK MAP
风险不只藏在提示词里。
展开任一项，沿着数据、权限和动作继续追问：系统究竟能做什么？
R—01提示注入模型无法可靠区分“指令”和“数据”。攻击可能藏在文档、网页、图片，甚至音视频里。
外部内容一旦进入模型上下文，就可能影响它如何理解任务。把不可信内容标出来有帮助，但真正的权限仍应由模型之外的系统执行。
查看所引 OWASP 资料 ↗
查看所引 OWASP 资料 ↗
R—02过度代理给了一个只该“读”的助手“写”和“执行”的权限，是事故的起点。
逐个盘点工具、数据和副作用。默认只读；写入、发送、删除等动作应有独立授权、范围限制与可追溯记录。
查看 ISACA Agent 安全建议 ↗
查看 ISACA Agent 安全建议 ↗
R—03敏感信息泄露RAG 在检索阶段就可能把用户无权访问的数据送进模型上下文，问题发生在生成之前。
检索和授权必须绑定用户身份与资源权限。不能指望模型在拿到越权数据后，再替系统补做访问控制。
查看所引 OWASP 资料 ↗
查看所引 OWASP 资料 ↗
R—04供应链与投毒被污染的开源权重或插件，可能让多个下游部署同时暴露在风险中。
模型、数据集、插件和构建产物都应进入资产与来源清单；校验来源、固定版本，并为升级保留评估和回滚路径。
查看所引供应链研究 ↗
查看所引供应链研究 ↗
02 / DEFENSE IN DEPTH
没有一层能单独兜住，所以要叠着来。
每一层都假设上一层可能失效；把拒绝权和执行权留在可审计的系统控制中。
模型与轨迹层
不只看单条提示，也看多轮对话中的意图漂移与风险累积。单条无害的请求拼接起来，可能逐步逼近被禁止的目标。
输出与行动层
模型输出不直接进入执行环境。高风险动作经过人工复核或确定性策略闸门，而不是交给模型自己判断“该不该做”。
参考：ISACA AI Agent 安全建议 ↗
03 / BUILD IT IN
安全不是发布前的一道检查，是发布流水线的一部分。
假定注入会成功
授权和访问决策不能依赖模型识别恶意指令。尽可能把安全控制放在模型之外，让模型拿不到不该有的权限。
红队作为回归测试
把越狱和注入用例纳入持续集成；与延迟、误拒率和任务成功率一起作为版本门禁，而不是一年一次的演练。
角色即信任边界
在 API 层强制消息角色完整性。客户端注入一条 assistant 消息，本质上是在伪造信任声明。
04 / CALIBRATE
安全做过头，也是一种失败。
有效的控制既要限制真实风险，也要保留系统完成正当任务的能力。
- 只看拦截率，不看误拒率和任务成功率，会把系统做成“什么都不肯做”的废品。
- 单层语义护栏无法防御“每条提示都无害、组合起来有害”的攻击。
- 安全治理不只是技术问题：没有资产清单和风险归属，技术控制无法持续。
05 / START HERE
今天可以先做的三件事。
勾选状态只保存在当前浏览器。它是一份自查起点，不代表完成了安全认证。
0 / 3 已完成