AI安全防护-解析AI攻击全链路：NVIDIA攻击链模型，筑牢大模型安全屏障

核心探测目标

数据进入模型的路径、使用的开源库 / 模型、系统护栏机制、内存类型、工具调用权限等。

典型手段

通过交互式探测输入、分析错误日志、爬取系统文档，甚至注入简单提示测试模型反应，尽可能还原系统全貌。

防御重点

严格访问控制，限制系统信息泄露；清理错误日志、隐藏组件标识符；监控异常探测行为，及早阻断侦察。

直接提示注入

以普通用户身份输入恶意提示，仅影响当前会话，多用于探测；

间接提示注入

投毒 RAG 数据库、共享文档、知识库等公共数据源，一旦成功，可影响所有访问该数据的用户，攻击规模呈指数级扩散。

防御重点

全量数据清洗，不信赖内部数据流；摄取前清理公共数据源；监控数据异常峰值，及时发现污染痕迹。

典型劫持模式

强制模型调用恶意工具、泄露上下文敏感数据、生成虚假信息、仅在特定用户场景触发恶意行为。

智能体系统风险升级

自主智能体中，攻击者可直接篡改模型目标，引导其执行未经授权的操作（如转账、删数据），威胁远超普通 AI 应用。

防御重点

隔离可信与非可信数据，避免混合处理；强化模型鲁棒性（对抗训练、鲁棒 RAG）；验证工具调用合法性，输出前做安全检测。

常见持久化方式

防御重点

数据写入持久层前强制安全检测；开放用户内存管理权限；严格管控共享数据写入操作，高危变更需人工审批。

核心破坏场景

防御重点

分类管控敏感操作，高危动作强制人工审核；遵循最小权限原则，限制工具调用范围；清理模型输出，拦截恶意载荷；部署内容安全策略（CSP），阻止非法外联。

防御重点

限制智能体工具访问范围；持续验证智能体计划与用户意图一致性；监控异常行为，偏离任务流立即阻断。

侦察

攻击者探测到系统使用向量数据库存储文档，前端存在内联风格漏洞，且未过滤 ASCII 走私字符；

投毒

在公开论坛发布含隐藏提示注入的帖子，通过 ASCII 走私嵌入 Markdown 数据外泄载荷，帖子被摄取进向量数据库；

劫持

用户查询相关问题时，数据库返回有毒文档，LLM 执行注入指令，被劫持生成外泄载荷；

持久化

有毒数据长期留存向量数据库，每次相关查询都会触发攻击；

影响

用户浏览器加载 LLM 响应，自动向攻击者服务器发送请求，敏感数据泄露。

事前（侦察 / 投毒阶段）

最小化信息暴露，全量数据清洗，严控公共数据源摄取；

事中（劫持 / 持久化阶段）

隔离可信与非可信数据，强化模型鲁棒性，管控内存与共享资源；

事后（影响 / 策略调整阶段）

限制敏感操作，监控智能体异常行为，高危动作强制人工介入。